如何使用Langchain-ChatGLM快速搭建个人知识库

引言

随着人工智能技术的不断发展，语言模型在各个领域中的应用越来越广泛。其中，Langchain-ChatGLM是一款使用了GPT-2语言模型的聊天机器人，它可以帮助用户快速搭建个人知识库，实现自动化问答和知识管理。下面，我们将详细介绍如何使用Langchain-ChatGLM快速搭建个人知识库。

一、检查Python版本

首先，我们需要检查计算机是否安装了Python 3.8及以上版本。建议使用3.8.10版本，因为高版本可能存在部分依赖问题。可以使用以下命令检查Python版本：

!python -version

二、拉取仓库并进入目录

接下来，我们需要拉取Langchain-ChatGLM的仓库，并进入目录。在终端输入以下命令即可完成：

!git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

三、安装依赖

然后，我们需要安装依赖。可以使用以下命令完成：

 !pip install -r requirements.txt

四、选择量化方式加载模型

默认情况下，模型以FP16精度加载，需要大约13GB的显存。如果您的GPU显存有限，可以尝试以量化方式加载模型。这可以通过修改/langchain-ChatGLM/configs/model_config.py文件中的LLM_MODEL来实现。目前仅支持4/8 bit量化，8-bit量化下GPU显存占用约为10GB，4-bit量化下仅需6GB。

五、执行WebUI脚本

接下来，我们可以执行webui.py脚本，来体验Web交互。WebUI目前已经具备以下功能：

• 运行前自动读取configs/model_config.py中LLM及Embedding模型枚举及默认模型设置运行模型，如需重新加载模型，可在模型配置标签页重新选择后点击重新加载模型进行模型加载；
• 可手动调节保留对话历史长度、匹配知识库文段数量，可根据显存大小自行调节；
• 具备模式选择功能，可选择LLM对话与知识库问答模式进行对话，支持流式对话；
• 添加配置知识库功能，支持选择已有知识库或新建知识库，并可向知识库中新增上传文件/文件夹，使用文件上传组件选择好文件后点击上传文件并加载知识库，会将所选上传文档数据加载至知识库中，并基于更新后知识库进行问答。

可以使用以下命令执行webui.py脚本：

!python webui.py

六、支持AIP部署

此外，Langchain-ChatGLM还支持AIP部署。可以使用以下命令执行api.py脚本：

!python api.py

七、WebUI中验证结果

1. 当我们未加载知识库时，我们可以向机器人提出问题，例如“请列举10个工业互联网典型的应用场景”。回答基于模型本身训练数据，如下：

2. 当我们加载知识库后，我们可以向机器人提出相同的问题。此时，机器人将从我们给的知识库（支持pdf、doc、txt等文件）中学习并给出回答，如下：

八、小结

总之，Langchain-ChatGLM是一款非常有用的工具，它可以帮助我们快速搭建个人知识库，实现自动化问答和知识管理。如果您想要更深入地了解它的使用方法，可以参考以上部署流程和WebUI中验证结果。