Windows 11 搭建私有知识库(docker、dify、deepseek、ollama)

一、操作系统信息

版本	Windows 11 家庭中文版
版本号	23H2
安装日期	‎2023/‎8/‎21
操作系统版本	22631.4460

二、搭建思路

ollama拉取deepseek、bge-m3模型

docker拉取dify的镜像

dify链接ollama使用模型,并上传文件搭建知识库,创建应用

三、搭建步骤

1.下载安装ollama,拉取模型

1.1 下载

下载链接:https://ollama.com/download

1.2 安装

将下载的文件 OllamaSetup.exe 安装

修改环境变量

重启ollama

1.3 验证是否安装成功

打开命令框

1.快捷键 win+r
2.输入 cmd
3.Enter

查看是否安装成功

ollama -v

1.4 拉取模型

deepseek模型

链接:https://ollama.com/library/deepseek-r1:1.5b
命令:ollama run deepseek-r1:1.5b

bge-m3模型

链接:https://ollama.com/library/bge-m3
命令:ollama pull bge-m3

1.5 查看拉取的模型

ollama list

2.下载安装docker

2.1 下载

下载链接:https://www.docker.com/

2.2 安装

将下载的文件 Docker Desktop Installer.exe 安装,

鼠标右键,以管理员身份运行

2.3 验证

命令:docker -v

3.在docker中拉取dify的镜像

3.1 下载dify

链接:https://github.com/langgenius/dify

3.2 拉取

解压下载的zip压缩包

找到该文件夹下的文件

dify-main -> docker -> .env.example

将该文件重命名命名为

.env

在该文件所在的文件夹下,鼠标右键点击 在终端中打开

在docker打开的前提下,在命令框中输入以下命令,将dify上传到docker

docker compose up -d

3.3 验证

打开 Docker Desktop,可看到上传的镜像

4.在dify中设置模型,搭建知识库,创建应用 个人助手

4.1 打开界面

浏览器登录,打开以下链接

http://localhost/signin

登录后,点击右上角头像 -> 设置,可参考以下图片添加模型

完成图

4.2 添加模型

4.3 模型设置

4.4 创建知识库

拖拽文件,创建知识库

4.5 创建应用

4.6 引用知识库,并更新发布,测试

四、补充

请参考该文章内容自行探索dify的其他功能

下载文件的链接若打不开,请科学上网

可尝试在Linux系统中搭建私有知识库

参考链接:

6个步骤,一文将透如何用DeepSeek本地部署以及知识库 - 知乎

十分钟用DeepSeek v3快速搭建企业级本地私有知识库(保姆级教程),AI终于私有化了!_deepseek搭建本地知识库-CSDN博客

<think>好的,用户想了解如何使用DeepSeek、OpenWebUI和Ollama搭建私有化的RAG知识库。首先,我需要回忆相关的引用内容,看看有没有相关的技术方案。引用[1]提到了使用LangChain-Chatchat、ollama和bge-m3搭建本地知识库,但用户这里需要的是OpenWebUI。引用[2]提到Ollama + FastGPT,可能相关。引用[3]则详细介绍了使用DeepSeekR1和Dify,支持Ollama和Ktransformer。虽然用户提到的工具是OpenWebUI,但可能需要结合这些引用中的方法进行调整。 接下来,我需要整合这些信息,给出一个可行的步骤。首先,安装Ollama作为本地模型服务,然后部署OpenWebUI作为前端界面,接着配置DeepSeek模型,最后整合RAG功能。可能需要参考引用中的向量库和Embedding设置,如默认配置,以及文件上传到知识库的步骤。此外,引用[3]提到的Dify平台可能是一个替代方案,但用户明确要求OpenWebUI,所以可能需要调整步骤。 需要注意用户提到的组件:DeepSeek、OpenWebUI、Ollama。需要确保这些工具能协同工作。例如,Ollama负责运行模型,OpenWebUI提供用户界面,DeepSeek可能作为嵌入模型或生成模型。可能需要使用bge-m3作为Embedding模型,如引用[1]所述,或者按默认设置。 然后,构建步骤时,应该分阶段:环境准备、安装各组件、配置整合、测试使用。需要详细说明每一步的具体操作,比如Docker命令、配置文件修改等。同时,要提醒用户可能遇到的常见问题,如端口冲突、模型加载问题,并给出解决建议。 最后,生成相关问题,可能涉及性能优化、扩展功能、安全措施等,这些需要基于引用中的信息,比如引用[2]提到的不同开源库的选择,引用[3]中的高效RAG实现方法。 确保回答结构清晰,步骤明确,同时引用相关文献,比如在提到向量库和Embedding时引用[1],在讨论不同开源库时引用[2],在涉及高效RAG配置时引用[3]。同时,保持语言自然,符合用户要求的格式,如使用中文,正确应用LaTeX格式等。</think>### 使用 DeepSeek、OpenWebUI 和 Ollama 搭建私有 RAG 知识库的技术方案 #### 一、技术组件说明 1. **Ollama**:本地大模型运行框架,支持多种开源模型(如 LLaMA3、DeepSeek 等)的快速部署[^2][^3]。 2. **OpenWebUI**:开源的 Web 交互界面,提供类似 ChatGPT 的对话体验,支持本地模型集成。 3. **DeepSeek**:可选择其开源模型(如 DeepSeek-MoE)作为 RAG 的生成模块,或使用其蒸馏版提升推理速度。 4. **RAG 核心**:包含文本向量化(Embedding)、向量数据库(如 Chroma/FAISS)、检索增强生成流程。 #### 二、搭建步骤详解 ##### 1. 环境准备 ```bash # 安装 DockerDocker Compose sudo apt-get install docker.io docker-compose # 创建专用目录 mkdir ~/rag_system && cd ~/rag_system ``` ##### 2. 部署 Ollama 服务 ```bash # 拉取 Ollama 官方镜像 docker pull ollama/ollama # 启动容器(暴露 11434 端口) docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama # 下载 DeepSeek 模型(示例使用 7B 版本) docker exec -it ollama ollama pull deepseek-llm:7b ``` ##### 3. 配置 OpenWebUI ```yaml # docker-compose.yml version: '3.8' services: openwebui: image: ghcr.io/open-webui/open-webui:main ports: - "3000:8080" volumes: - ./data:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434 depends_on: - ollama ``` ##### 4. 构建 RAG 流程 ```python # 伪代码示例(基于 LangChain) from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma from langchain.chains import RetrievalQA # 使用 bge-m3 中文嵌入模型[^1] embedder = HuggingFaceEmbeddings(model_name="BAAI/bge-m3") vector_db = Chroma(persist_directory="./chroma_db", embedding_function=embedder) # 连接 OllamaDeepSeek 模型 qa_chain = RetrievalQA.from_chain_type( llm=Ollama(model="deepseek-llm:7b"), retriever=vector_db.as_retriever() ) ``` ##### 5. 知识库管理 - 通过 OpenWebUI 上传文档(PDF/TXT/Markdown 等) - 文件自动进入预处理流程: $$文本分块 \rightarrow 向量化 \rightarrow 存入 Chroma 数据库$$ - 在对话界面启用 RAG 模式即可使用知识库增强的回答 #### 三、性能优化建议 1. 硬件要求: - 最低配置:16GB RAM + NVIDIA GTX 1080(支持 CUDA 11+) - 推荐配置:32GB RAM + RTX 3090(FP16 加速) 2. 模型选择: - 轻量场景:使用 DeepSeek 蒸馏版(4bit 量化后仅需 6GB 显存) - 精度优先:采用 DeepSeek 67B 全参数版本 #### 四、验证测试 ```bash # 检查服务状态 curl http://localhost:3000/api/health # 测试知识库检索 curl -X POST -H "Content-Type: application/json" -d '{ "query": "什么是 RAG 技术?", "knowledge_base": "tech_terms" }' http://localhost:3000/api/chat ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值