在矩池云使用GLM-4的详细指南（无感连GitHub&HuggingFace）

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本，在多项测试中表现出超越已有同等规模开源模型的性能，它能兼顾多轮对话、网页浏览、代码执行、多语言、长文本推理等多种功能，性能更加强大。其多模态语言模型GLM-4V-9B在视觉理解能力中的表现，则显示出堪比几大经典闭源模型的潜能。

项目地址：https://github.com/THUDM/GLM-4

上传模型和数据

如果租用的亚太区机器可以直接在线下载模型和数据，无需操作以下步骤。

如果租用的机器位于非亚太区，我们需要先上传的模型和数据到矩池云网盘，这样租用机器后就可以直接使用了。

Glm-4-9b-chat 的模型放在Huggingface，租用国内服务器直接运行下载可能很慢，所以我们需要提前本地下载好，然后上传到矩池云网盘再租用机器使用。

https://huggingface.co/THUDM/glm-4-9b-chat

本地下载好后，把相关文件上传到矩池云网盘即可，之后再根据项目需求进行调用。

租用机器

本次复现先使用的是亚太1区 NVIDIA RTX 4090 配置环境，镜像使用的是 CUDA 12.1 ，选择好机器和镜像后，点击高级选项-自定义端口，设置一个8080端口，用于后面访问 GLM-4 服务，配置好点击租用即可。

使用亚太1区的可以无感连 Github 和 HuggingFace，克隆 Github 代码或者下载Huggingface 模型很快。

租用成功后我们可以在租用页面看到机器的 SSH、Jupyterlab 等链接，矩池云官网有详细的教程介绍了如何使用这些链接连接服务器。

配置环境

clone 代码

经常修改的代码和数据集建议放矩池云网盘，Linux 系统实例中网盘对应机器中的 /mnt目录，永久存储，可以离线上传下载数据。

我们点击 Jupyterlab 链接即可直接访问服务器，新建一个 Terminal，输入以下指令 clone 项目。

# 进入网盘目录，我复现项目代码会归纳在一起 /mnt/example/，你改成自己目录即可
cd /mnt/example/
# clone 代码
git clone https://github.com/THUDM/GLM-4

安装依赖

安装 requirements.txt 里的依赖和 torch，按以下指令输入即可：

# 进入项目目录
cd GLM-4
# 安装依赖
pip install -r requirements.txt 
# 重新从官方源安装 torch
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu121

看到最后警告信息不用管，意思是不建议你在 root 权限下操作安装，实际是安装成功了的。

运行项目

在程序运行前先修改部分代码，我们打开 basic_demo 下的 trans_web_demo.py 文件，修改以下代码：

• 注释掉图示3行代码，并加1行 if None:，这个改动是直接让程序从默认路径读取模型，如果没有，就从 huggingface 下载。
  

• 修改图示代码，设置 host、port，以及将inbrowser、 share 设置成False，避免不必要安全风险
  

输入以下指令运行项目：

cd basic_demo
python trans_web_demo.py 

启动成功后，即可访问租用页面 8080 端口链接。

在页面中输入问题，点击Submit即可获得响应。

整体响应速度、回答质量都比GLM3要更好。

glm-4-9b-chat 模型运行大概占用显存18G左右。

保存环境

配置好环境，我点击租用页面-更多-保存到个人环境，如果是团队项目，则保存至团队环境，即可保存我们配置好的环境。

取一个环境名称，然后勾选保存成功后自动释放机器，再点击保存环境即可。

保存成功后下次即可快速从保存环境启动啦。