hi~
上一篇,我们搭建了本地的知识库应用:fastgpt!然后给知识库搭好了桥(one api),今天我们要把本地部署的大模型Qwen-14B接入知识库!
整体项目是这样的!
我们在纯本地的环境搭建,涉及垂类大模型+嵌入模型的部署、docker部署,都搞掂后!
使用知识库应用去搭建本地私有的知识库!
现在市场上已有大量的知识库/文档对话产品了,学会了这个部署,你基本了解到整个企业知识库部署的过程!内容如下:
day17:动手本地部署ONE-API管理工具,与知识库打通!【已更新】
day18:与知识库对话!部署Qwen-7B/14B,用API接入知识库!【本篇】
dat19:与知识库对话!部署ChatGLM3-6B,用API接入知识库!
day20:本地部署M3e嵌入模型!接入知识库,完全体!大功告成!
day21:快速上手!3分钟动手搭建私有的知识库!
day22:进阶!三种数据处理办法,提高知识库性能!
day23:进阶!知识库可视化高级编排!
day24:进阶!自定义内容,不该说的一句不说,只聊指定内容!
day25:按部门/学科,建立知识库并分发给对应部门使用
一边做一边看大家反馈,有不清楚的,雄哥再补充!
ok!人的专注力只有10分钟!那,话不多说!
本篇在win11系统完成,需要docker+WSL子系统(非wsl不稳定)!
星球的伙伴学完【7天精通docker】,可以直接上手!
还没来得及学的,可以回星球先学!
点击申请加入知识星球https://t.zsxq.com/15XR5BKhd
整个过程非常的简单!
① 下载qwen-14b/7b权重+启动仓库!
② 修改API启动文件,让它可以支持API启动
③ 创建miniconda虚拟环境!启动大模型!
④ 接入one api,打通本地大模型和知识库!
⑤ 在知识库调用大模型!搞掂!
第一部分:下载qwen-14b/7b权重
这里有两个文件夹要下载!
模型权重+部署仓库
1.1 模型权重
其实之前雄哥都发过分享了!你直接在后台回复 ‘qwen’
即可获取qwen的所有下载!或者在会员盘获得所有国内外的大模型集合!
会员盘路径:会员专享数据盘>01.大模型LLM
1.2 部署仓库
同样的,在后台回复 ‘qwen’ 获得官方的仓库!第二个链接就是了!
你的整个文件夹结构应该是这样的!这里别去动!否则可能启动不了!
第二部分:修改API启动文件
全部下载之后,跟着雄哥,打开‘openai_api.py’文件!拉下去!按照图片来修改!因为雄哥用的是14B-int4量化版!因为是同级文件夹内,所以路径没有什么修改!
然后下面地址改为0.0.0.0!使用本地IP!然后点保存!
第三部分:创建conda环境!启动!
上面都就位了!我们要开始启动它!使用到miniconda环境!如果你还没装,那跟着雄哥之前的内容,搭建一个AI环境吧!手把手!
第四天!0基础微调大模型+知识库,部署在微信!手把手安装AI必备环境!4/45
创建一个conda环境吧!名字是qwen,python3.10版本环境!
conda create -n qwen python=3.10
输入y,确认安装!
进入AI环境!
conda activate qwen
看前面名字变了!就表明成功进入了!
这时,cd到你刚刚放仓库的地址吧!
所以刚刚建议新手尽可能放在根目录,方便你操作!
安装环境依赖!这时一定要打开魔法!确保能正常访问GitHub!
任何报错,都要优先检查网络!
pip install -r requirements.txt
再装一个依赖!这个依赖主要是用作API启动的!
pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette
好!启动!
python openai_api.py
这是雄哥部署好之后的截图,以后你只需要激活环境,cd到目录,直接运行命令启动即可!
conda activate qwen
cd qwen
python openai_api.py
我们看下图,已经成功启动了!他使用了‘8000’端口!
如果你这里出现了报错!
不管什么报错,只管按照提示安装依赖就行了!
如果还不行,你可以到群里反馈或找小胖!
第四部分:加载到one api!
我们已经启动了API!但是现在还没接入知识库!那怎么接入呢?
我们上一篇已经把one api+知识库打通了!现在只需要接入到one api!
就同步接入到知识库fastgpt了!
往后的嵌入模型m3e也是一样的道理!
现在打开docker,确保全部的服务处于绿色启动状态!如果还没启动的,你点一下启动吧!
然后点击one api的‘13000’端口的按钮,它会自动跳转到浏览器,打开管理界面!
输入密码登录!来到渠道>添加渠道!
还记得我们之前获取到的本地IP吧?不记得?乖乖去看雄哥的专栏!
按照这个顺序填入下图!然后按提交!别选错!
如果你有闭源模型的api,也可以在这里添加!这里不延展,雄哥这次只做本地!
提交完成,你点渠道返回!然后点测试!他会自动地向你后台发送一条请求!
你会看到后台有200 ok的绿色字样!就说明接入成功了!
第五部分:在知识库调用大模型!
还记得我们部署知识库时,下载的两个文件吧?现在我们打开fastgpt目录中的配置文件‘config.json’,把qwen添加到配置文件里!
打开之后,直接复制上面绿色框的代码,粘贴下来!改为‘qwen’!
还是来到docker,先把fastgpt这个进程,关闭!重新启动!
我们按图片点开fastgpt的端口,他会自动跳转到浏览器!
如果你没改的话!输入账号root、密码1234!登录!
跟着雄哥的图片创建应用!
这时,你可以在这里看到刚刚部署的qwen-14b了!选择它!保存~!
这时,你已经成功把大模型和知识库打通了,如果你在这个过程有任何的报错,直接留言或者找一意.小胖即可!
当然,现在知识库还不能工作,因为现在还没有接入嵌入模型,只能简单对话!还不能接入自己的数据!
下一篇,我们把嵌入模型部署好,并且接入部署one-api,直接做完成体!
星球的伙伴,一定要打卡啦!