搭建FastGPT本地知识库问答系统踩过的坑

少喝冰美式

于 2024-09-04 11:22:08 发布

阅读量1.8k

点赞数 17

文章标签：大语言模型人工智能自然语言处理 LLM ai大模型本地知识库 FastGPT

本文链接：https://blog.csdn.net/python12222_/article/details/141888654

版权

如今部署一套基于LLM大语言模型的私有知识库问答系统已经比较普遍，而且在企业内部也有很强的应用需求。网上这方面的开源系统比较多，在经过多方调研和对比后，我选择了FastGPT来搭建本地的知识库问答系统。尽管官方也提供了安装指南，但是在实际部署过程中，就会发现有些细节之处安装指南里并没有说清楚，网上也不容易查找到，还需要自己去摸索求证。

今天给大家分享一下利用FastGPT搭建知识库问答系统过程中碰到的一些坑，希望能够帮助更多的人避开这些坑，顺利构建自己的私有知识库系统。在部署前，请先阅读官方文档（https://doc.fastgpt.in）。

对于手头没有服务器资源又不熟悉Linux操作命令的同学，如果想省心的话，可以直接利用FastGPT的云服务（https://cloud.fastgpt.in），在上面注册一个账号，然后就可以开箱使用了。平台提供了一定免费额度的token，这对于我们想调研和体验FastGPT功能的人来说，非常友好。

我采用的是Docker Compose 快速部署方式，安装步骤可以参考：https://doc.fastgpt.in/docs/development/docker/，考虑到今后要用于生产环境，因此选择了Milvus版本，服务器的配置是4C16G，CentOS7。

由于服务器上已经安装了docker和docker-compose。我碰到的第一个坑来了：docker-compose的版本过低，在启动容器的时候失败了。官方文档里写明了：**请确保docker-compose版本最好在2.17以上，否则可能无法执行自动化命令。**在确认是因为服务器上docker-compose版本低（1.5版本）引起的问题后，只能卸载旧的版本，再重新安装新的版本（安装命令可以参考官方文档）。

由于FastGPT 默认只配置了 GPT 的模型，我希望接入的是智谱清言、通义千问等国产大模型（需提前在这些国产大模型****中生成API key），因此需要通过One API进行一些额外配置。配置的参考指南地址是：

https://doc.fastgpt.in/docs/development/one-api/

依次在One API中添加了渠道（渠道里会定义接入某个厂商的哪些模型，注意不能漏了embedding向量模型）和令牌后，需要修改FastGPT中环境变量docker-compose.yml文件中的OPENAI_BASE_URL和CHAT_API_KEY。我碰到的第二个坑来了。在docker-compose.yml中，由于One API与FastGPT都是部署在同一台服务器上，因此OPENAI_BASE_URL的参数设置，我习惯性的写成了下面这种形式：

http://localhost:3001/v1（或者http://127.0.0.1:3001/v1）

结果导致我在后面的FastGPT中上传本地文档到知识库里的时候，一直处于“索引中”的状态（这与我先前在cloud.fastgpt.in体验到的很快就完成索引的效果完全不一样）。为了排查问题，我用postman来检测接口是否正常工作。

postman中填写的URL地址形式如下：

http://服务器IP地址:3001/v1/chat/completions（注意是POST请求）

在headers部分，注意设置Content-Type是application/json，Authorization填入One API的令牌中生成的API KEY.

在body部分填入JSON格式的数据，其中model是在One API中添加渠道时定义的模型名称。如下图所示。

当点击Send后，看到返回的Status是200，说明One API的接口是正常的，因此我就开始怀疑OPENAI_BASE_URL是不是填错了？当我尝试将localhost换成了服务器的实际IP地址后，发现在FastGPT中上传的文档终于可以顺利的完成索引了！！！

在官方文档中，接入其他模型是给文心一言的修改示例，这里又碰到了第三个坑，我在FastGPT 配置文件config.json中直接将官方示例拷贝进去，然后逐一按照我需要接入的智谱清言、通义千问的模型，逐一修改对话模型配置和向量模型配置。其中对话模型配置主要涉及以下几项：

model、name、avatar、maxContext

其中model值要与One API的渠道里显示的model名称保持一致。maxContext是模型的最大上下文长度，需要到该模型厂商的官网上查询。avatar是模型的LOGO，经过一番查找后，终于发现模型的LOGO原来在这里有定义（官方文档编写有点乱）：

https://doc.fastgpt.in/docs/development/configuration/

以下是常见国产模型的LOGO图路径：

/imgs/model/baichuan.svg - 百川

/imgs/model/chatglm.svg - 智谱

/imgs/model/calude.svg - calude

/imgs/model/ernie.svg - 文心一言

/imgs/model/moonshot.svg - 月之暗面

/imgs/model/openai.svg - OpenAI GPT

/imgs/model/qwen.svg - 通义千问

/imgs/model/yi.svg - 零一万物

配置完config.json后，重启FastGPT，结果创建知识库时，在文件处理模型下拉框中仍然没有找到我所添加的模型名称，如下图所示：

内心又开始凌乱了，无奈之下，只能继续排查我刚才添加模型的参数设置，最后终于发现官方文档中的示例有一处有错误，datasetProcess应该设置为true。此外，需要注意的是官方示例里为了便于大家了解各个参数的用途，因此做了大量的中文注释，在实际添加到config.json配置文件中时，这些中文注释都需要删掉，否则也会导致错误。

在修改了上述配置错误并且重启后，终于可以在FastGPT中顺利的创建知识库了。第四个坑又来了，在运行基于此知识库的对话应用时，系统又报错了：

undefined 当前分组 default 下对于模型 gpt-3.5-turbo 无可用渠道 (request id: 2024060603301542728313599790209)

很纳闷，我都已经改成国产大模型了，怎么还会出现gpt-3.5-turbo呢？最后，终于在知识库搜索配置的“问题优化”里找到了错误原因，在这个页面里系统默认的AI模型仍然是gpt-3.5-turbo，需要改成我们希望接入的国产大模型，如下图所示。

至此，总算把整个知识库问答系统成功运行起来了。尽管细节上还有一些地方需要继续优化，但是从实际使用效果来看，还是令人比较满意的。

对于希望接入Azure OpenAI接口的人来说，接入One API会更加麻烦，因为One API对Azure OpenAI的支持很不友好，对于模型名称等要求非常严苛，必须要严格一致。我尝试着配置了一下，发现还需要修改在Azure中的OpenAI配置，索性就直接放弃了。若没有特殊需求，建议还是用国产大模型，毕竟在中文领域国产大模型的表现还是非常不错的。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述