把本地Qwen-14B接入知识库！让他拥有实时知识！私有化部署！18/45

hi~

上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，今天我们要把本地部署的大模型Qwen-14B接入知识库！

整体项目是这样的！

我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！

使用知识库应用去搭建本地私有的知识库！

现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！内容如下：

day16：动手本地部署fastgpt知识库应用【已更新】

day17：动手本地部署ONE-API管理工具，与知识库打通！【已更新】

day18：与知识库对话！部署Qwen-7B/14B，用API接入知识库！【本篇】

dat19：与知识库对话！部署ChatGLM3-6B，用API接入知识库！

day20：本地部署M3e嵌入模型！接入知识库，完全体！大功告成！

day21：快速上手！3分钟动手搭建私有的知识库！

day22：进阶！三种数据处理办法，提高知识库性能！

day23：进阶！知识库可视化高级编排！

day24：进阶！自定义内容，不该说的一句不说，只聊指定内容！

day25：按部门/学科，建立知识库并分发给对应部门使用

一边做一边看大家反馈，有不清楚的，雄哥再补充！

ok！人的专注力只有10分钟！那，话不多说！

本篇在win11系统完成，需要docker+WSL子系统(非wsl不稳定)！

星球的伙伴学完【7天精通docker】，可以直接上手！

还没来得及学的，可以回星球先学！

点击申请加入知识星球https://t.zsxq.com/15XR5BKhd

整个过程非常的简单！

① 下载qwen-14b/7b权重+启动仓库！

② 修改API启动文件，让它可以支持API启动

③ 创建miniconda虚拟环境！启动大模型！

④ 接入one api，打通本地大模型和知识库！

⑤ 在知识库调用大模型！搞掂！

第一部分：下载qwen-14b/7b权重

---

这里有两个文件夹要下载！

模型权重+部署仓库

1.1 模型权重

其实之前雄哥都发过分享了！你直接在后台回复 ‘qwen’ 

即可获取qwen的所有下载！或者在会员盘获得所有国内外的大模型集合！

会员盘路径：会员专享数据盘>01.大模型LLM

1.2 部署仓库

同样的，在后台回复 ‘qwen’ 获得官方的仓库！第二个链接就是了！

你的整个文件夹结构应该是这样的！这里别去动！否则可能启动不了！

第二部分：修改API启动文件

---

全部下载之后，跟着雄哥，打开‘openai_api.py’文件！拉下去！按照图片来修改！因为雄哥用的是14B-int4量化版！因为是同级文件夹内，所以路径没有什么修改！

然后下面地址改为0.0.0.0！使用本地IP！然后点保存！

第三部分：创建conda环境！启动！

---

上面都就位了！我们要开始启动它！使用到miniconda环境！如果你还没装，那跟着雄哥之前的内容，搭建一个AI环境吧！手把手！

第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45

创建一个conda环境吧！名字是qwen，python3.10版本环境！

conda create -n qwen python=3.10

输入y，确认安装！

进入AI环境！

conda activate qwen

看前面名字变了！就表明成功进入了！

这时，cd到你刚刚放仓库的地址吧！

所以刚刚建议新手尽可能放在根目录，方便你操作！

安装环境依赖！这时一定要打开魔法！确保能正常访问GitHub！

任何报错，都要优先检查网络！

pip install -r requirements.txt

再装一个依赖！这个依赖主要是用作API启动的！

pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette

好！启动！

python openai_api.py

这是雄哥部署好之后的截图，以后你只需要激活环境，cd到目录，直接运行命令启动即可！

conda activate qwencd qwenpython openai_api.py

我们看下图，已经成功启动了！他使用了‘8000’端口！

如果你这里出现了报错！

不管什么报错，只管按照提示安装依赖就行了！

如果还不行，你可以到群里反馈或找小胖！

第四部分：加载到one api！

---

我们已经启动了API！但是现在还没接入知识库！那怎么接入呢？

我们上一篇已经把one api+知识库打通了！现在只需要接入到one api！

就同步接入到知识库fastgpt了！

往后的嵌入模型m3e也是一样的道理！

现在打开docker，确保全部的服务处于绿色启动状态！如果还没启动的，你点一下启动吧！

然后点击one api的‘13000’端口的按钮，它会自动跳转到浏览器，打开管理界面！

输入密码登录！来到渠道>添加渠道！

还记得我们之前获取到的本地IP吧？不记得？乖乖去看雄哥的专栏！

按照这个顺序填入下图！然后按提交！别选错！

如果你有闭源模型的api，也可以在这里添加！这里不延展，雄哥这次只做本地！

提交完成，你点渠道返回！然后点测试！他会自动地向你后台发送一条请求！

你会看到后台有200 ok的绿色字样！就说明接入成功了！

第五部分：在知识库调用大模型！

---

还记得我们部署知识库时，下载的两个文件吧？现在我们打开fastgpt目录中的配置文件‘config.json’，把qwen添加到配置文件里！

打开之后，直接复制上面绿色框的代码，粘贴下来！改为‘qwen’！

还是来到docker，先把fastgpt这个进程，关闭！重新启动！

我们按图片点开fastgpt的端口，他会自动跳转到浏览器！

如果你没改的话！输入账号root、密码1234！登录！

跟着雄哥的图片创建应用！

这时，你可以在这里看到刚刚部署的qwen-14b了！选择它！保存~！

这时，你已经成功把大模型和知识库打通了，如果你在这个过程有任何的报错，直接留言或者找一意.小胖即可！

当然，现在知识库还不能工作，因为现在还没有接入嵌入模型，只能简单对话！还不能接入自己的数据！

下一篇，我们把嵌入模型部署好，并且接入部署one-api，直接做完成体！

星球的伙伴，一定要打卡啦！