最新开源对话大模型glm-4-9b-chat本地部署使用

简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

本文以glm-4-9b-chat为例，部署环境如下：

Ubuntu 22.04.4 LTS
显卡 RTX 4090（Nvidia驱动550.78）
内存 32G

部署步骤

1.glm4代码下载

git clone https://github.com/THUDM/GLM-4

2.模型文件下载(大约36G)

# 安装git lfs大文件存储插件
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt install git-lfs
# 激活插件
git lfs install

# 下载模型文件
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git

3.修改trans_cli_demo.py指向模型所在路径

vim trans_cli_demo.py

# MODEL_PATH修改为如下，/root/glm-4-9b-chat换成你的模型目录
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/glm-4-9b-chat')

4.运行模型

# 安装python虚拟环境
cd /root
apt install python3.10-venv
mkdir -pv .virtualenvs/glm-4-9b-chat
python -m venv .virtualenvs/glm-4-9b-chat
source /root/.virtualenvs/glm-4-9b-chat/bin/activate

# 安装依赖包，依赖包有很多，耐心等待安装完成
cd /root/GLM-4/basic_demo
pip install -r requirements.txt

# 运行模型
python trans_cli_demo.py

然后可以像下面这样跟glm-4-9b-chat对话（在4090上模型的回答速度还是很快的）：

同时，你还可以用nvtop命令看到有一个进程在GPU上运行：

完！