Langchain-chatchat本地部署

前言

LangChain是一个用于开发由语言模型支持的应用程序的框架。它使应用程序能够：

• 具有上下文感知能力：将语言模型连接到上下文源（提示说明、一些镜头示例、响应的内容等）

• Reason：依靠语言模型进行推理（关于如何根据提供的上下文回答、采取什么操作等）

LangChain-Chatchat（原 Langchain-ChatGLM）

基于ChatGLM等大语言模型与Langchain等应用框架实现，开源、可离线部署的搜索增强生成(RAG)大模型知识库项目。

本文介绍记录本地构建LangChain-Chatchat应用。

1.创建langchain虚拟环境

conda create -n langchain python==3.8.13

2.拉取代码仓库

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

3.进入代码仓库目录，安装所需依赖

pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt 

4.首先将项目所需的模型下载至本地，通常是开源LLM 与 Embedding 模型可以从HuggingFace下载。

使用LLM模型THUDM/ChatGLM3-6B与Embedding模型BAAI/bge-large-zh为例：

5.初始化知识库和配置文件
使用了本地模型需要更改configs/model.config文件相应绝对路径：

python copy_config_example.py
python init_database.py --recreate-vs

6.按照以下命令启动项目
（注意启动前关闭科学上网工具）

python startup.py -a