超详细GLM-4-chat模型部署

介绍

GLM-4系列模型是智谱AI开源的最新一代预训练模型，其中GLM-4-9B基座模型在语义、数学、推理、代码和知识等多方面的数据集测评中表现均超过Llama-3-8B的卓越性能。该系列模型特性如下：
● 高级功能：GLM-4-9B-Chat具备网页浏览、代码执行、自定义工具调用；
● 长文本支持：GLM-4-9B-Chat支持最大128K长上下文推理能力，以及推出支持1M上下文长度的 GLM-4-9B-Chat-1M 模型；
● 多语言支持：本代模型增加了多语言支持，支持包括日语、韩语、德语在内的26种语言；
● 多模态能力：GLM-4V-9B在高分辨率下具备中英双语多轮对话能力，并在多模态测评中超越了其他几个主流模型，如GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 等；

关于glm-4的详细开源内容可查看github开源信息：https://github.com/THUDM/GLM-4

模型部署

基础环境配置

我们本次部署的GLM-4-Chat模型，对于环境基本的基本要求如下：

• 内存：不少于32GB
• Python：3.10.12（推荐），最低版本为3.10.8
• CUDA Version：12.3
• GPU：19GB，精度越高显存占用越高
  大家可基于操作系统自行安装环境，主要就是Python和CUDA的环境，这里不做具体演示。另外，对于部署过程中使用的conda环境大家可以按需安装Anaconda或Miniconda。

模型下载

目前模型下载支持Huggingface和ModelScope两个渠道，国内环境推荐使用ModelScope模型仓库进行下载，下载速度更快，ModelScope下载方式：

• 访问ModelScope官网：https://www.modelscope.cn/，在“模型库”中搜索“glm-4-9b-chat”；
  
  找到第一个由“智谱AI”发布的"glm-4-9b-chat"模型即可。
• 将“glm-4-9b-chat”的模型文件全部下载到本地并保存到同一个文件夹中：

GLM-4官方提供提供了web-ui、命令行、API等多种部署方式启用模型，所以在部署模型前需要先将代码拉到需要部署的服务器，使用以下命令：

git clone https://github.com/THUDM/GLM-4

下载完成后，可进入GLM-4目录查看到以下文件：

创建虚拟环境

为了防止glm-4模型的部署环境与服务器环境冲突或者产生污染，可以使用conda创建虚拟环境来做隔离；

• 首先，创建一个名称为"chatglm4"的虚拟环境，并指定相应地Python版本：

  # 这里指定推荐的python版本3.10.12
  conda create --name chatglm4 python=3.10.12
  

  
  出现以上内容虚拟环境就创建完了

• 接下来可以使用以下命令激活该环境：

  conda activate chatglm4
  

运行模型

安装依赖

激活完“chatglm4”虚拟环境后，可进入到"GLM-4"工程目录安装部署依赖：

# 切换至工程目录
cd GLM-4/
# 由于部署文件是放在basic_demo目录中，需要再次切换到basic_demo目录
cd basic_demo/
# 执行以下命令下载所有依赖
pip install -r requirements.txt

执行完下载命令并安装成功后，如下所示：

运行模型

我们可以按需运行模型，以下是不同形式运行模型的文件：

• openai_api_server.py：该文件部署一个api server，启动完成后我们可以在程序中用接口进行调用；
• trans_cli_demo.py：该文件部署一个命令行的服务，启动完成后可在服务器使用命令行使用glm-4的模型能力；
• trance_web_demo.py：该文件部署一个页webui服务，启动完成后可将通过端口映射的方式在浏览器访问；

这里方便演示我们运行trans_cli_demo.py命令行服务，运行前需要先修改一下调用的基础模型位置：

# 编辑trans_cli_demo.py文件
vim trans_cli_demo.py

找到“MODEL_PATH = os.environ.get(‘MODEL_PATH’, ‘THUDM/glm-4-9b-chat’)”这行代码，并将“THUDM/glm-4-9b-chat”改为你下载的模型所在位置：

修改完成后，执行启动命令：

python trans_cli_demo.py

启动成功后会有以下输出：

到这整个模型就部署完成了，如果过程中报错，可根据具体缺少的依赖进行安装即可。

如果是部署webui服务和api服务流程跟部署命令行服务是一样的，都要注意修改基础模型的位置！