【一次成功】清华大学和智谱AI公司的ChatGLM-4-9B-Chat-1M大模型本地化部署教程

已于 2024-07-08 19:29:00 修改
阅读量2.6k 收藏 20
点赞数 13
分类专栏： # ChatGPT 文章标签： 人工智能
于 2024-07-08 19:21:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40657528/article/details/140276529
版权

【一次成功】清华大学和智谱AI公司的ChatGLM-4-9B-Chat-1M大模型本地化部署教程

一、环境准备

  • 操作系统：Windows 10 Intel® Core™ i7-14700KF 3.40 GHz 32G
  • Python：v3.12.2
  • pip：24.0
    在这里插入图片描述

二、ChatGLM-4-9B-Chat-1M简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

三、模型下载

2.1 安装Git LFS

因为模型的问件较大，下载的话需要用到大文件插件，点击官网进行下载安装。
在这里插入图片描述

2.2 初始化仓库

git lfs install

2.3 同步Git文件

从阿里云的魔搭社区仓库文件中同步。

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat-1m.git GLM-4-9B-Chat-1M

2.4 拉取文件

git lfs pull

2.5 下载完毕

共计10个模型文件，每个约1.8G。
在这里插入图片描述

四、python和源码安装与下载

这里笔者走了两次弯路，

  1. python版本太高，下载了最新版本的文件，安装不了依赖，前提是没有按照requirements文件版本进行安装；
  2. 依赖直接下载，没有按照requirements文件进行下载，运行脚本时报以下错误，尝试解决未果，还是归结到环境。
The attention mask is not set and cannot be inferred from input because pad

4.1 安装python

从华为云镜像文件源下载。
在这里插入图片描述

4.2 下载源码

官方源码地址为：

https://github.com/THUDM/GLM-4.git

4.3 安装依赖

运行此命令从清华大学镜像源下载依赖。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

requirements.txt文件在源码目录下。

在这里插入图片描述
requirements.txt文件内容：

在这里插入图片描述

# 依赖项解释

## vllm
- **版本要求：** >=0.5.0
- **作用：** `vllm` 可能是指一个与机器学习相关的库，特别是用于语言模型。具体的细节和功能取决于库的实现。

## torch
- **版本要求：** >=2.3.0
- **作用：** `torch` 是 PyTorch 库，一个流行的开源机器学习库，用于 Python，提供广泛的 API 用于数值计算和神经网络。

## torchvision
- **版本要求：** >=0.18.0
- **作用：** `torchvision` 是 PyTorch 的视觉库，提供图像处理工具、数据集和预训练模型，主要用于计算机视觉任务。

## transformers
- **版本要求：** ==4.40.0
- **作用：** `transformers` 是 Hugging Face 提供的库，提供用于使用各种预训练模型（如 BERT、GPT-2 等）的 API，主要用于自然语言处理。

## huggingface-hub
- **版本要求：** >=0.23.1
- **作用：** `huggingface-hub` 是 Hugging Face 仓库的 Python 客户端，允许用户下载和使用模型、数据集和其他资源。

## sentencepiece
- **版本要求：** >=0.2.0
- **作用：** `sentencepiece` 是一个文本处理库，提供了一个无监督的文本分词器，用于文本分割和tokenization。

## pydantic
- **版本要求：** >=2.7.1
- **作用：** `pydantic` 是一个数据验证和设置管理工具，用于 Python 3.6+ 的类型提示，用于验证和序列化数据。

## timm
- **版本要求：** >=0.9.16
- **作用：** `timm` 是一个深度学习图像模型的 Python 库，提供了多种预训练模型和模型实用程序。

## tiktoken
- **版本要求：** >=0.7.0
- **作用：** `tiktoken` 是一个用于分割和计数 tokens 的库，常用于处理自然语言数据，特别是在使用特定模型时。

## accelerate
- **版本要求：** >=0.30.1
- **作用：** `accelerate` 是一个轻量级的库，用于加速 PyTorch 模型的训练，提供简单的 API 来优化训练过程。

## sentence_transformers
- **版本要求：** >=2.7.0
- **作用：** `sentence_transformers` 是一个用于计算句子、文档等的向量表示的 Python 库，提供了多种预训练模型。

## gradio
- **版本要求：** >=4.33.0
- **作用：** `gradio` 是一个用于创建简单 UI 的库，用于演示和测试机器学习模型，可以快速创建交互式界面。

## openai
- **版本要求：** >=1.34.0
- **作用：** `openai` 是 OpenAI API 的 Python 客户端，用于访问 OpenAI 的各种模型和服务，如 GPT-3。

## einops
- **版本要求：** >=0.7.0
- **作用：** `einops` 是一个用于张量操作的库，提供了一种简洁和可读的方式来重写、重塑和组合张量。

## sse-starlette
- **版本要求：** >=2.1.0
- **作用：** `sse-starlette` 是一个用于在 Python 3.6+ 中实现服务器发送事件（SSE）的库，用于构建实时 web 应用。

## bitsandbytes
- **版本要求：** >=0.43.1
- **作用：** `bitsandbytes` 是一个库，用于在 PyTorch 中实现更高效的内存使用和计算，特别是在使用低精度计算时。

## peft
- **版本要求：** >=0.11.0
- **作用：** `peft` 是 Parameter-Efficient Fine-Tuning 的缩写，是一个库，用于实现参数高效的微调方法，用于自然语言处理模型。如果你不使用 PEFT 微调模型，则不需要这个依赖项。

4.4 python项目目录

my_project/
|-- .git/                  # Git版本控制目录（如果使用Git）
|-- .gitignore             # Git忽略文件，用于指定不被Git跟踪的文件和目录
|-- .env                   # 环境变量文件，用于存储项目配置和环境变量
|-- .env.example           # 环境变量示例文件，用于提供给开发者参考
|-- .editorconfig          # 编辑器配置文件，用于统一不同编辑器的代码风格
|-- README.md              # 项目说明文件，使用Markdown格式
|-- LICENSE                # 项目许可证文件
|-- requirements.txt       # Python项目依赖文件，列出所有依赖的包和版本
|-- setup.py               # 项目安装脚本，用于安装项目及其依赖
|-- pytest.ini             # Pytest测试配置文件（如果使用Pytest）
|-- tests/                 # 测试目录，包含所有的测试代码
|   |-- __init__.py
|   |-- test_example.py
|-- src/                   # 源代码目录（推荐使用src来避免与第三方包混淆）
|   |-- my_project/        # 项目包目录
|       |-- __init__.py
|       |-- main.py        # 主程序入口
|       |-- utils.py       # 工具函数和类
|       |-- models/        # 模型目录
|           |-- __init__.py
|           |-- my_model.py
|       |-- data/          # 数据处理目录
|           |-- __init__.py
|           |-- dataset.py
|       |-- controllers/   # 控制器目录（如果使用MVC架构）
|           |-- __init__.py
|           |-- controller.py
|       |-- views/         # 视图目录（如果使用MVC架构或模板渲染）
|           |-- __init__.py
|           |-- templates/
|               |-- base.html
|               |-- index.html
|-- docs/                  # 项目文档目录
|   |-- index.rst
|   |-- ...
|-- examples/              # 示例代码目录
|   |-- example.py
|-- scripts/               # 脚本目录，包含可执行脚本
|   |-- run.sh
|-- config/                # 配置文件目录
|   |-- settings.py
|-- logs/                  # 日志文件目录
|-- .vscode/               # VS Code工作区配置目录（如果使用VS Code）
|-- Dockerfile             # Docker镜像构建文件
|-- docker-compose.yml     # Docker容器编排文件

五、运行

5.1 修改运行文件

修改trans_cli_demo.py文件
在这里插入图片描述
更改的内容为：
在这里插入图片描述

5.2 运行文件

 python.exe .\trans_cli_demo.py

5.3 执行结果

每个字的推理速度差不多是30s。
在这里插入图片描述

GLM-4本地部署的实战教程
herosunly的博客
06-05 23万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
ChatGLM-6B中英双语对话大模型Windows本地部署实战
L
10-19 472
ChatGLM是智谱清言大模型的开源版本，目前有ChartGLM、ChatGLM2、ChatGLM3和GLM-4版本。ChatGLM：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。
本地部署GLM-4-9B清华智谱开源大模型方法和对话效果体验
老牛啊
06-08 2341
清华大学和智谱AI推出了全面升级的新一代基座大模型GLM-4，整体性能相比GLM3提升60%，支持128K上下文，可根据用户意图自主理解和规划复杂指令、完成复杂任务……
【大模型实战篇】vllm本地部署阿里最新的QwQ-32B推理模型以及体验
源泉的小广场
03-06 6701
推理模型、千问推理模型、大模型、32B推理模型、强化学习、deepseek-r1、QwQ-32B
最新开源对话大模型glm-4-9b-chat本地部署使用
不二的AI笔记
06-07 3329
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
本地容器化快速部署GLM-4-9B-chat教程
YELLOWAUG的博客
06-07 3345
glm-4-9b-chat 容器化快速部署
【GLM-4部署实战】GLM-4-9B-Chat模型本地部署实践指南
寻道AI，探索AI无限可能！
08-13 9671
在人工智能的浪潮中，深度学习模型的部署已成为技术研究和实践的热点。自然语言处理（NLP）领域，尤其是对话系统，正迅速成为智能应用的核心。GLM-4-9B-Chat模型以其卓越的语言理解与生成能力，为构建智能对话系统提供了坚实的基础。然而，模型的部署并非易事，它涉及到环境配置、依赖管理、代码编写等多个环节。本文将通过本地模型推理和OpenAI API风格服务发布测试，带你一步步完成GLM-4-9B-Chat模型的部署实践，让你对深度学习模型的部署有一个全面而深入的理解。
【Linux】环境ChatGLM-4-9B 模型部署
m0_52985087的博客
10-30 2091
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
智谱AI通用大模型：本地部署ChatGLM3-6B开源大模型
m0_37559973的博客
04-23 5360
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
人工智能_大模型003_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_003---人工智能工作笔记0138
添柴程序猿的专栏
02-19 307
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/ 有网速 但是不成功。可以看到执行:pip install -r requirements.txt -i https://mirror.baidu.com/pypi/simple 可以正常执行。pip install -r requirements.txt -i http://pypi.mirrors.opencas.cn/simple/ 不可以。
LLM大语言模型（十六）：最新开源 GLM4-9B 本地部署，带不动，根本带不动
热门推荐
hugo_lei的博客
06-05 1万+
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。
glm-4v-9b 部署
m0_60657960的博客
06-07 3054
模型文件地址仓库文件地址硬件配置和系统要求。
vLLM本地部署GLM-4-9b大模型，ChatTTS+AutoGen实现多AI对话转语音！打造AI小说智能体！AI写高考作文
m0_57057282的博客
06-27 1395
5）使用pyautogen完成用glm进行高考作文编写，并用gpt3-5评审的流程。8） chatTTS调用autogen的代码。3）用vllm以openai接口的形式运行。6)本地部署chatTTS（文字转语音）7）测试chatTTS。2）去魔塔社区下载模型。
[大模型]GLM-4-9B-Chat WebDemo 部署
FL1623863129的博客
06-11 1458
考虑到部分同学配置环境可能会遇到一些问题，我们在 AutoDL 平台准备了 GLM-4 的环境镜像，该镜像适用于本教程需要 GLM-4 的部署环境。（vLLM 对 torch 版本要求较高，且越高的版本对模型的支持更全，效果更好，所以新建一个全新的镜像。在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。的指示将端口映射到本地，然后在浏览器中打开链接 http://localhost:6006/ ，即可看到聊天界面。
清华大学ChatGLM-6B部署运行
xu_guo_jie的博客
04-17 1386
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的。
[大模型]GLM-4-9B-chat FastApi 部署调用
FL1623863129的博客
06-11 1784
考虑到部分同学配置环境可能会遇到一些问题，我们在 AutoDL 平台准备了 GLM-4 的环境镜像，该镜像适用于本教程需要 GLM-4 的部署环境。（vLLM 对 torch 版本要求较高，且越高的版本对模型的支持更全，效果更好，所以新建一个全新的镜像。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue。文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。执行下载，模型大小为 18 GB，下载模型大概需要 10~20 分钟。，并且打开其中的终端开始环境配置、模型下载和运行。
保姆级教程！利用vLLM部署自己的大模型（glm-4-9b-chat）
m0_54180573的博客
12-17 4910
（在JupyterLab的最下方），可以看到下图所示界面，按箭头指示复制相应命令。图24将上述复制好的命令粘贴到本地打开的命令行中运行，注意要做一些修改，具体如图25所示。左侧的是本地想使用的服务端口，右侧是服务器上的服务端口，因此我们将右侧改为8000，左侧改为5000（便于区分，可以自定义修改）。运行命令后需要输入密码，我们从图24中复制密码并粘贴输入进去，按下回车就行（注意，这里粘贴好了密码并不会显示，粘贴完按下回车键即可）。图25经过上述操作，本地就能通过5000端口直接调用模型服务了。
【ollama】ollama运行GLM4-9B和CodeGeeX4-ALL-9B
放飞自我的coder
07-16 1055
【ollama】ollama运行GLM4-9B和CodeGeeX4-ALL-9B
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 8082
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
如何在云服务器上部署开源大模型 GLM-4-9B-Chat 并应用到RAG应用中
最新发布
03-16
<think>好的，我现在需要帮用户解决如何在云服务器上部署GLM-4-9B-Chat模型并集成到RAG应用的问题。首先，我得理清楚用户的需求。用户提到了云服务器部署和RAG应用集成，所以可能需要分步骤来讲解，从环境准备到模型部署，再到RAG的整合。 先看看用户提供的引用内容。引用[1]提到老牛同学通过Git下载PyTorch参数文件在本地部署，但用户问的是云服务器，所以可能需要类似的步骤，但需要考虑云环境的不同。引用[4]提到了使用Xinference部署本地模型，还有百度网盘和ModelScope的下载链接，这可能对获取模型文件有帮助。此外，引用[3]提到了使用LongAlign的代码和环境来训练，但用户需要的是部署，可能这部分暂时用不上。引用[2]说明了GLM-4-9B的不同版本，包括Chat版本，所以需要确认用户下载的是正确的模型文件。 接下来，我需要考虑部署的基本流程。首先，云服务器的选择，可能推荐主流的比如AWS、阿里云或者腾讯云，特别是GPU实例，因为大模型需要GPU加速。然后，安装必要的依赖，比如Python、PyTorch、CUDA等。接着，下载模型文件，用户提供的引用里有Git和百度网盘的链接，可能需要指导用户如何下载和解压。然后，部署模型，这里可能需要使用像Xinference或者Hugging Face的transformers库来加载模型。还要考虑如何启动API服务，以便RAG应用调用。 关于RAG集成，可能需要介绍RAG的基本流程，包括文档处理、向量数据库的使用、检索和生成。引用[3]提到Embedding模型，用户可能需要下载并使用合适的Embedding模型来处理文档，比如BGE或OpenAI的text-embedding。然后，结合检索结果和用户查询，调用GLM模型生成答案。此外，引用[4]提到Dify平台，或许可以介绍如何使用Dify来搭建本地知识库，但用户的问题更偏向于自己集成到RAG，所以可能需要详细说明如何将模型嵌入到现有的RAG架构中。 需要注意的潜在问题包括云服务器的GPU配置是否足够，模型文件的大小和下载方式，以及依赖库的版本兼容性。例如，PyTorch和CUDA的版本需要匹配，否则可能导致运行错误。此外，部署后的API需要考虑网络配置，比如端口开放和安全设置，确保外部应用可以访问。 用户可能还关心性能优化，比如如何利用云服务器的多GPU进行模型并行，或者如何量化模型以减少内存占用。引用[2]提到GLM-4-9B有不同上下文长度的版本，用户需要根据应用场景选择合适的模型，比如需要处理长文本的话选择1M版本。 最后，生成相关问题的时候，需要考虑用户可能进一步的问题，比如性能调优、处理长文本的方法，或者如何与其他工具集成。需要确保这些问题与当前主题相关，并且能够帮助用户深入理解部署和应用的细节。 总结一下，回答的结构应该是分步骤的教程，涵盖环境准备、模型部署、RAG集成，以及注意事项和优化建议。同时，引用相关的资料来支持步骤的可行性，比如模型下载链接和部署工具。</think>### 在云服务器部署GLM-4-9B-Chat并集成到RAG的教程 #### 一、环境准备 1. **云服务器配置** - 选择支持GPU的实例（如NVIDIA A10/A100），建议显存≥24GB，内存≥32GB，存储≥100GB（模型文件约18GB）[^2][^4]。 - 安装CUDA 11.8+、cuDNN 8.9+，配置Python 3.9+环境。 2. **依赖安装** ```bash pip install torch==2.1.0 transformers==4.35.0 xinference huggingface_hub ``` #### 二、模型部署 1. **下载模型文件** 通过ModelScope或百度网盘获取模型（需提前申请权限）： ```bash git clone https://www.modelscope.cn/zhipuai/glm-4-9b-chat.git # 或从网盘解压后上传至云服务器 /models/glm-4-9b-chat 目录 ``` 2. **启动Xinference服务** 使用轻量级框架部署API： ```bash xinference-local --host 0.0.0.0 --port 9997 \ --model-engine pytorch \ --model-path /models/glm-4-9b-chat \ --device gpu ``` 验证接口： ```python import requests response = requests.post("http://IP:9997/v1/chat/completions", json={ "model": "glm-4-9b-chat", "messages": [{"role": "user", "content": "你好"}] }) print(response.json()) ``` #### 三、RAG集成 1. **文档处理与向量化** - 使用BGE-Chinese-1.5模型生成向量： ```python from sentence_transformers import SentenceTransformer encoder = SentenceTransformer(&#39;BAAI/bge-large-zh-v1.5&#39;) embeddings = encoder.encode(["文本示例"]) ``` - 存入向量数据库（如FAISS或Milvus）。 2. **检索增强生成流程** ```python def rag_query(question): # 1. 检索相关文档 query_vec = encoder.encode(question) results = vector_db.search(query_vec, top_k=3) # 2. 构造提示词 context = "\n".join(results) prompt = f"基于以下信息回答问题：\n{context}\n\n问题：{question}" # 3. 调用GLM-4-9B生成 response = requests.post("http://localhost:9997/v1/chat/completions", json={ "model": "glm-4-9b-chat", "messages": [{"role": "user", "content": prompt}], "temperature": 0.3 }) return response.json()["choices"][0]["message"]["content"] ``` #### 四、优化建议 1. **性能调优** - 启用动态批处理：通过`xinference`的`--batch-size`参数提高GPU利用率 - 量化压缩：使用`bitsandbytes`库实现8-bit量化[^3] 2. **长上下文支持** 若需处理超长文本（如1M token版本），需修改推理代码的注意力窗口参数： ```python model = AutoModel.from_pretrained("glm-4-9b-chat", trust_remote_code=True, max_sequence_length=1024000) ``` #### 五、注意事项 - 网络安全：建议在API层添加HTTPS和鉴权（如API Key） - 成本控制：云服务器按需启停实例，监控GPU使用率 - 版本兼容性：确保`transformers`库≥4.35以支持GLM架构 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

追寻上飞

鼓励一下这只勤劳的小蜜蜂吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值