GLM-6B部署手册

硬件环境

GPU	NVIDIA 3090
CPU	Intel Xeon Gold 6271C, 2.6GHz, 10 Core
内存	40G
显存	24G
系统盘	150G SSD
浮点算力	FP32 35.6 TFLOPS

软件环境

python	3.10
cuda	11.6
cudnn	8

部署流程

1.购买服务器并安装镜像

本部署基于揽睿星舟-GPU算力平台（https://www.lanrui-ai.com/）

• 注册并登录后进入控制台，创建工作空间

• 选择对应的服务器配置

点击使用，并选择对应的镜像和预训练模型，完成环境搭建

2.部署GML-6B

• Git加速配置

执行下面2条命令，设置git学术资源加速

git config --global http.proxy socks5h://172.16.16.39:8443
git config --global https.proxy socks5h://172.16.16.39:8443

• 下载ChatGLM源代码

进入Jupyter的页面后，可以看到2个目录，对目录做下说明：

data目录，存放数据，平台共享的

imported_models目录，存放预训练模型，即创建工作空间时你选择的模型

点击data目录下，可以看到ChatGLM-6B文件夹，里面是ChatGLM的源代码

如果没有ChatGLM-6B目录，那么我们这一步需要下载代码，

操作如下： 页面打开一个Terminal终端，在Terminal终端执行命令 下载ChatGLM源代码

git clone https://github.com/THUDM/ChatGLM-6B.git

• 安装依赖

执行命令切换到ChatGLM-6B的目录

cd ChatGLM-6B

接着修改requirements.txt文件，把后续所有需要的依赖都加上，下面的配置加在文件末尾即可，如果文件里已加上这3个依赖，无需再修改

chardet
streamlit
streamlit-chat

加完之后save保存下文件，如图

接着命令行执行下面命令安装依赖，如果报错ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support，执行sudo su切换root用户再执行以下命令即可

# 使用默认镜像源下载会超时，这里用了清华的pip镜像源地址
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

3.修改启动脚本

• 修改web_demo2.py文件中的模型加载地址为本地目录

改为

4.启动

• 在ChatGLM-6B目录下，命令行执行

python3 -m streamlit run ./web_demo2.py --server.port 27777 --server.address 0.0.0.0

• 看到如下输出则启动成功

5.使用

• 登录揽睿星舟复制调制地址

• 在浏览器进行访问，即可使用