Ubuntu部署Langchain-Chatchat本地知识库项目
开源项目:https://github.com/chatchat-space/Langchain-Chatchat
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
1. 环境配置
python版本3.10
1.1 设置python镜像源
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
#python3 -m pip install --upgrade pip
1.2 安装虚拟环境
cd /home/THUDM/Langchain-Chatchat2
#安装虚拟环境安装包
apt install python3.10-venv
#如没有权限需要执行
#sudo apt install python3.10-venv
#创建venv的虚拟环境
python3 -m venv venv
#激活虚拟环境
source venv/bin/activate
#退出虚拟环境
deactivate
1.3 安装项目依赖
# 安装全部依赖
#pip install setuptools_scm #有些系统需要先安装这个
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
# 默认依赖包括基本运行环境(FAISS向量库)。如果要使用 milvus/pg_vector 等向量库,请将 requirements.txt 中相应依赖取消注释再安装。
2. 模型下载
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://www.modelscope.cn/Xorbits/bge-large-zh-v1.5.git
3. 初始化知识库和配置文件
按照下列方式初始化自己的知识库和简单的复制配置文件
3.1复制配置文件
python copy_config_example.py
3.2 修改模型根目录配置
如果模型不在项目根目录需要修改model_config.py的第六行
MODEL_ROOT_PATH = "/home/THUDM"
3.3 修改服务配置和开启gpu配置
#server_config.py第31行增加
LLM_MODELS = [“chatglm3-6b”, “zhipu-api”, “openai-api”]#配置模型手工增加
#开启gpu相关配置
46~91行开启并修改如下配置:
"gpus": 0, # 使用的GPU,以str的格式指定,如"0,1",如失效请使用CUDA_VISIBLE_DEVICES="0,1"等形式指定
"num_gpus": 1, # 使用GPU的数量
"max_gpu_memory": "16GiB", # 每个GPU占用的最大显存
3.4 初始化默认知识库
python init_database.py --recreate-vs
4. 一键启动
按照以下命令启动项目
python startup.py -a
5. 启动界面示例
如果正常启动,你将能看到以下界面
-
FastAPI Docs 界面
-
Web UI 启动界面示例:
-
Web UI 对话界面:-
-
Web UI 知识库管理页面:
6. 服务端运行信息
OpenAI API Server: http://127.0.0.1:20000/v1
Chatchat API Server: http://127.0.0.1:7861
Chatchat WEBUI Server: http://127.0.0.1:8511