从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知识库（完结篇）

相关文章：
从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知识库（一）
https://blog.csdn.net/hya168/article/details/131460230

从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型，本地知识库（二）
https://blog.csdn.net/hya168/article/details/135870440

五、配置、启动langchain-chatchat

5.1 配置文件修改

生成默认配置文件

cd /data/webui/langchainchatchat
python copy_config_example.py

此命令会在/data/webui/langchainchatchat/langchainchatchat/config下生成一份默认配置文件，如下图:

主要修改model_config.py这个文件。

cd /data/webui/langchainchatchat/langchainchatchat/config
vi model_config.py

1）第9行， 修改成EMBEDDING_MODEL = "bge-large-zh"

2） 第29行，只保留chatglm3-6b即可

3） 第155行，修改bge-large-zh向量模型路径，改成本地实际存储路径，如本文中的/data/models/bgelargezh

4） 168行，chatglm3-6b模型路径，改成本地实际存储路径，如本文中的/data/models/chatglm36b

如果使用其他模型，对应改下模型名称后面的路径即可。

保存文件。

5.2 初始化向量库

删除默认知识库中的知识文件，然后初始化向量库。

cd /data/webui/langchainchatchat
rm -rf knowledge_base/samples
python init_database.py --recreate-vs

初始化向量库执行结果类似下图：

5.3 启动大模型

python startup.py -a

当看到

You can now view your Streamlit app in your browser. 

URL: http://0.0.0.0:8501

时，表明大模型已经加载启动完毕，这时可以通过浏览器打开 http://ip:8501 访问了

浏览器访问：

5.3 创建新知识库

点击左侧“知识库管理”，在右侧，新建知识库，输入知识库名（只能使用英文），知识库简介（可以使用中英文），向量库类型 faiss, embedding模型 bge-large-zh，点击新建。

5.4 添加本地文件到知识库

        选择刚才创建的知识库，浏览需要录入的文件，比如我用的是“公司制度”，最后点击“添加文件到知识库”。

      单段文本最大长度，相邻文本重合长度这两个参数，请参照此篇文章。

上传过程中如果出现libGL.so.1: cannot open shared object file错误，

2024-01-29 16:52:20,348 - utils.py[line:377] - ERROR: ImportError: 从文件 gongsizhidu/规章制度2023.pdf 加载文档时出错：libGL.so.1: cannot open shared object file: No such file or directory

错误信息类似如下图：

解决方案：停止大模型，用pip安装一下opencv

pip install opencv-python-headless -i https://mirrors.aliyun.com/pypi/simple/

等待下载、安装完成

重新启动大模型，将原来的pdf在知识库中删除，重新上传，命令行可以看到文档向量化的过程

回到对话模式，对话模式改为“知识库问答”，知识库选择“gongsizhidu”, 然后比如提问“年假有几天？”， langchain-chatchat会从知识库中检索最匹配的内容，然后通过chatglm3-6b大模型组织语言进行输出回答。

至此完成从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型、本地知识库，欢迎大家留言交流。