LangChain+ChatGLM2阿里云部署

1. 阿里云环境创建

阿里云PAI平台为算法开发者打造了云端深度学习开发环境，提供了免费试用，可在上面部署LLM。

• Cuda版本查看：

ls -l /usr/local | grep cuda

• pytorch版本查看：

python
import torch
print(torch.__version__)

• 领取免费试用
  
• 创建实例
  
  
• 进入terminal，更新环境
  

apt-get update
apt-get install git-lfs 
git init
git lfs install 

2. LangChain+ChatGLM2部署过程

• 下载ChatGLM2-6B源码

git clone https://github.com/THUDM/ChatGLM2-6B.git

• 下载ChatGLM2-6B模型：

git clone https://www.modelscope.cn/ZhipuAI/ChatGLM2-6B.git

• 下载langchain-ChatGLM源码：

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

• 下载嵌入式模型：

cd langchain-ChatGLM
git clone https://www.modelscope.cn/thomas/text2vec-base-chinese.git

• 安装依赖

cd ChatGLM2-6B 
pip install –r requirements.txt
cd langchain-ChatGLM
pip install –r requirements.txt

• 创建知识库

python init_database.py --recreate-vs

• 执行私有库模型

1. 执行python startup.py -a
   
2. 采用模型对话
   
3. 添加私有库
   
4. 私有库对话