chatGLM3-6b与FastGPT互联测试

前言

刚刚升级成功chatGLM3，再测试一下它与FastGPT的连接，看看是否能够成功！效果证明非常的nice！记录过程如下：

首先保持api_server.py运行状态：

这时候大模型在本地运行，可以看下显存占用情况：

我这里总共大概占用14G左右。

1、用docker启动FastGPT

用vs code打开docker-compose.yml所在文件夹，右键即可运行启动docker容器

已经启动了

2、oneapi配置

配置成功后如下：

再建立一个令牌：

复制令牌

3、配置FastGPT配置文件，并重启容器

配置docker-compose.yml

配置config.json

注意两处都要修改，分别是语言模型和向量模型。

重启docker容器

重启成功：

4、测试FastGPT

登录FastGPT

root 1234

新建应用：

配置本地模型：

测试成功：

建立知识库：

选择本地文件，拆分、索引等步骤自行操作。

速度非常快啊！

关联上知识库再试试：

成功连接到本地知识库：

速度杠杠滴~

比之前的chatGLM2好用多了！呜呜。