ubuntu系统个人部署LangChain过程

 官方教程，github和huggingface都需要梯子：

开发环境部署 · chatchat-space/Langchain-Chatchat Wiki (github.com)

具体参考官方的，这里额外记录一下官方文档里面没有写的。

--------------------------​​​​​​​-------------​​​​​​​-------------​​​​​​​-------------​​​​​​​-------------​​​​​​​-------------​​​​​​​-------------​​​​​​​-------------​​​​​​​------------

1.安装前，确保openSSL版本是新的

查看当前环境下是否有sqlie3、libbz2

安装命令：sudo apt-get install libsqlite3-dev libbz2-dev

2.确保python环境是3.11.7（目前阶段够了，之后更新可能版本要求更高）

 用wget形式下载python3.11.7，之后编译时命令为：

./configure --enable-loadable-sqlite-extensions --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"

需要把之前的sqlie3、libbz2一起编译进去，否则之后会缺少模组

3.确保cuda版本在>=12.2，命令：nvidia-smi

查看pyTorch版本是否和cuda一致，根据英伟达网站安装对应pyTorch版本

Previous PyTorch Versions | PyTorch

4.下载huggingface的模型需要梯子，太费时间，可以去国产gitee上搜索相关模型，用国产链接下载

bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)chatglm3-6b: Mirror of https://huggingface.co/THUDM/chatglm3-6b (gitee.com)bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)

这俩是Embedding模型和LLM 模型，不同功能

用git下载完俩大模型以后，会自动创建文件夹，然后修改文件

Langchain-Chatchat/configs/model_config.py
 

修改里面的MODEL_ROOT_PATH的值，因为git创建好文件夹正好与文件下面的MODEL_PATH里的默认路径对上，所以只改这里就行了

import os

# 可以指定一个绝对路径，统一存放所有的Embedding和LLM模型。
# 每个模型可以是一个单独的目录，也可以是某个目录下的二级子目录。
# 如果模型目录名称和 MODEL_PATH 中的 key 或 value 相同，程序会自动检测加载，无需修改 MODEL_PATH 中的路径。
MODEL_ROOT_PATH = "/opt/"

 ubuntu@VM-2-14-ubuntu:~$ ll /opt/
total 51756
drwxr-xr-x  9 root   root       4096 Feb 20 15:40 ./
drwxr-xr-x 20 root   root       4096 Feb 20 18:15 ../
drwxr-xr-x  4 root   root       4096 Feb 20 09:45 bge-large-zh-v1.5/
-rw-r--r--  1 root   root      16171 Feb 20 15:40 bzip2-1.0.6.tar.gz
drwxr-xr-x  3 root   root       4096 Feb 19 16:17 chatglm3-6b/

其他细节参考官方文档里的直接启动就行了