问题描述
为部署本地deepseek大模型,事先已下载ollama、deepseek-R1:1.5B,以及使用python的pip install工具下载open-webui。
打开open-webui页面,创建一个知识库,上传文件失败,任何类型的文件都不行,看命令行也报错,显示有空数据。
解决方法
联想到知识库的文档识别需要向量化引擎,用于把文档转化为大模型可识别的格式,而通过pip直接下载的open-webui不一定有自带的向量化工具,所以通过ollama自己下载一个,并设置使用该引擎,问题解决。
记录如下:
- 使用ollama下载向量化工具nomic-embed-text,命令行输入:ollama pull nomic-embed-text。
如果速度慢的话可以按下CTRL+C的方式暂停,然后再次运行该命令,能够达到提速效果。 - 打开open-webui左下角的管理员面板,进入“设置”栏找到“模型”选项,并点击右上角的设置图标进行模型设置,如图所示:
依次把deepseek和刚下载的nomicembed-text排序在前,并选择默认模型为deepseek:
embed-text,点击保存:
- 在管理员面板找到“文档”选项,将“语义向量模型引擎”设置为Ollama,并且在“语义向量模型”手动输入“Nomic-Embed-Text”,设置完点击保存,如图所示:
- 为了确保open-webui识别到Ollama,进一步找到“外部连接”选项,只勾选Ollama API而不勾选OpenAI API
- 回到工作空间的知识库,再次上传文档,成功上传