最详细的DeepSeek-R1:7B+RAGFlow本地知识库搭建教程,建议收藏起来慢慢学!!

一、准备环境

个人笔记本电脑Windows11硬件配置参考:

  • CPU:AMD Ryzen 5 4600H with Radeon Graphics 3.00 GHz
  • 内核:6
  • 逻辑处理器:12
  • 内存:16GB
  • GPU:512MB
  • 操作系统:Windows 11

二、安装步骤

1.1 安装Ollama服务

ollama: 一个模型管理工具,可下载并运行不同的模型。

1.1.1 下载ollama

官网:ollama.com 下载windows版本

在这里插入图片描述

1.1.2 检验ollama

查看ollama是否安装成功:命令行输入 ollama -v 命令,出现如下版本号说明安装成功

在这里插入图片描述
注:常用ollama命令如下

# 运行模型
ollama run 模型名称

# 列出模型
ollama list

# 拉取模型
ollama pull 模型名称

# 删除模型
ollama rm 模型名称

# 显示模型信息
ollama show

# 启动ollama服务
ollama serve

1.1.3 修改ollama的环境变量

可根据自己的需求,修改ollama的环境变量,一般本地部署修改OLLAMA_HOSTOLLAMA_MODELS即可

  • OLLAMA_HOST:Ollama 监听的网络接口,设置OLLAMA_HOST = 0.0.0.0,可以让 Ollama 监听所有可用的网络接口,从而允许外部网络访问:0.0.0.0:11434,否则在RagFlow中,模型url无法使用本地IP进行注册。

  • OLLAMA_MODELS:指定模型镜像的存储路径。默认存储在C盘:C:\Users%username%.ollama\models。例如,设置OLLAMA_HOST = D:\ollama,可节约内存。

  • OLLAMA_KEEP_ALIVE:控制模型在内存中的存活时间。例如,设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持 24 小时,提高访问速度。

  • OLLAMA_PORT:允许更改 ollama 的默认服务端端口(11434)。例如,设置OLLAMA_PORT=8080

  • OLLAMA_NUM_PARALLEL:决定了 Ollama 可以同时处理的用户请求数量。例如,设置OLLAMA_NUM_PARALLEL=4可以让 Ollama 同时处理两个并发请求。

  • OLLAMA_MAX_LOADED_MODELS:限制了 Ollama 可以同时加载的模型数量。例如,设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

1.2 部署DeepSeek

1.2.1 获取下载命令

在ollama模型页面选择需要下载的DeepSeek参数规模,然后点击右侧的“复制”按钮,复制下载模型的命令。

ollama run deepseek-r1:7b

1.2.2 安装运行模型

打开windows命令提示符工具(WIN + R快捷键,然后输入cmd,回车)。输入安装运行命令ollama run deepseek-r1:7b,ollama会自动下载模型,成功之后,如下页面所示:

在这里插入图片描述

可查看当前加载的模型、所占的内存大小以及使用的处理器类型:

在这里插入图片描述

注意:运行过程中会出现以下问题

1)内存不够:需要释放本地内存,保证本地内存充足。

在这里插入图片描述

1.3 安装Docker桌面端

目的:RagFlow相关组件依赖于Docker运行。

1.3.1 下载Docker Desktop

下载Windows桌面端,官网下载地址:www.docker.com

1.3.2 配置镜像源

如下图所示:打开Docker Desktop->点击设置->Docker Engine

在这里插入图片描述

配置如下json镜像源,点击应用并重启 Docker。

"registry-mirrors": [
    "https://docker.1ms.run"
  ]

1.4 安装RagFlow

官方环境要求如下:

CPU >= 4 核 RAM >= 16 GB Disk >= 50 GB Docker >= 24.0.0 & Docker Compose >= v2.26.1

1.4.1 下载

下载或者克隆官方仓库至本地:

git clone https://github.com/infiniflow/ragflow.git

1.4.2 修改基础配置(按需)
  1. 镜像下载完整发行版 修改ragflow/docker/.env文件,设置RAGFLOW_IMAGE=infiniflow/ragflow:v0.16.0 来下载 RAGFlow 镜像的 v0.16.0 完整发行版 在这里插入图片描述

  2. 文档引擎修改 修改ragflow/docker/.env文件,设置DOC_ENGINE=infinity 切换文档引擎。 在这里插入图片描述
    注意:Infinity 目前官方并未正式支持在 Linux/arm64 架构下的机器上运行.

  3. 上传文件大小修改 修改/ragflow/docker/nginx/nginx.conf文件,设置client_max_body_size大小 在这里插入图片描述

1.4.3 运行
cd ragflow/docker
docker compose -f docker-compose.yml up -d

这个下载过程本地如果没有搭建梯子会很慢,镜像下载容易失败,ragflow镜像大概有10个G,最好搭个梯子。

镜像拉取失败,如下:

在这里插入图片描述
镜像拉取失败之后,先停止并删除容器,重新配置好docker镜像源,如果你搭建了梯子(科学上网),就不需要配置镜像源了:

docker compose -f docker-compose.yml down

镜像拉取成功之后,会自动启动ragflow,查看Docker Desktop控制台包含如下六个运行中的容器:

在这里插入图片描述

Minio:文件上传到此文件服务器。

Redis:文件解析度时候需要使用redis消息队列进行暂存,方便异步执行。

Elasticsearch:存储向量数据、任务信息。

MySql:存储用户信息、系统配置信息(比如配置知识库名称)、任务定义、执行状态、结果等。

1.5 知识库使用

1.5.1 登陆注册

在浏览器输入127.0.0.1,默认端口号是80,使用QQ邮箱注册登陆即可。

在这里插入图片描述

1.5.2 配置模型LLM

点击个人中心-》模型提供商-》在此设置模型参数

在这里插入图片描述

1)模型类型:DeepSeek 模型选择chat,bge-m3 模型选择 embedding

2)模型名称:Ollama -list命令中列出的模型名称填写(建议在列表中复制),如:deepseek-r1:7b

3)基础Url:http://host.docker.internal:11434

4)最大token数:可随便填写(本地部署不消耗在线 token),如:1024

1.5.3 系统模型设置

还是点击个人中心-》模型提供商-》系统模型设置 在这里插入图片描述

聊天模型选择:本地部署的deepseek-r1:7b

嵌入模型,Img2txt模型、Sequence2txt模型、Rerank模型、都是RagFlow默认的

这里简单说一下这几个模型之间的联系:

嵌入模型提供数据表示,Img2txt和Sequence2txt模型生成文本,Rerank模型优化结果,聊天模型生成最终回复,TTS模型将文本转为语音。

1.5.4 创建知识库

在这里插入图片描述

1.5.5 上传文件并解析

知识库的内容检索回答,需要先将文件解析成块后才能问答。

在这里插入图片描述

1.5.6 配置知识库模型

配置创建好的知识库模型,就可以进行检索了。

在这里插入图片描述

1.5.6 聊天助手知识问题

添加聊天助手做知识问答。

在这里插入图片描述

1.6 使用问题

1.6.1 docker运行ragflow内存不足的问题

检索出错:

ERROR: Connection error caused by: ConnectionError(Connection error caused by: NewConnectionError(<urllib3.connection.HTTPConnection object at 0x7fead7596a40>: Failed to establish a new connection: 【Errno 111】 Connection refused))

解决方案:

调整windows对docker desktop的内存分配。

win + r,调出运行,输入 %UserProfile%,进入用户文件夹

在用户文件夹下创建一个新的文件,改名为 .wslconfig,内容如下:

[wsl2]
memory=16GB          # 分配的内存
processors=12        # 处理器核心数量,考虑超线程
swap=0
localhostForwarding=true

保存文件后,重启docker和WSL。

  1. 退出docker,任务管理器中确保无docker相关进程
  2. win+r调出运行,输入cmd并回车,在命令提示符中,输入以下内容并回车
wsl --shutdown

重新打开docker,确保容器中所有的程序都运行,重新在浏览器中连接ragflow进行尝试

1.6.2 长文本回复中断问题:ERROR: Tenant not found

目前在官方发布的最版本v0.16.0中,还是会存在长文本回复中断问题这个问题,并且Github官方仓库中有很多关于此问题的issuse,后续看ragflow官方团队发布最新版本时是否会解决这个问题。

解决方案:升级到最新的经过测试的版本nightly,这里我查了一下官方升级文档如下:

ragflow.io/docs/dev/up…

在这里插入图片描述
第一:修改/docker/.env文件,设置RAGFLOW_IMAGE=infiniflow/ragflow:nightly

在这里插入图片描述

第二:重新更新RagFlow镜像

# 停止所有容器运行,并且删除挂载卷
docker compose -f docker-compose.yml down -v
# 重新拉去RagFlow相关镜像
docker compose -f docker-compose.yml pull
# 运行
docker compose -f docker-compose.yml up -d

最后的最后

感谢你们的阅读和喜欢,作为一位在一线互联网行业奋斗多年的老兵,我深知在这个瞬息万变的技术领域中,持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友,我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶,也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习,相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

大模型知识脑图

为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值