创新实训大模型篇1——《本地部署ChatGLM3-6B的细节指南》

本地部署ChatGLM3-6B的细节指南

引言

ChatGLM3-6B是一款开源的双语对话语言模型，由Zhipu AI和清华大学联合开发。它在多种应用场景中表现优异，如对话系统、文档摘要和金融报告分析等。对于需要在本地部署ChatGLM3-6B并希望使用4比特量化以减少内存占用的用户，本指南将详细介绍如何在Windows平台上进行部署。

准备工作

硬件要求

• GPU：至少需要一块具有6GB VRAM的GPU，用于4比特量化后的模型部署。如果没有GPU，也可以使用CPU进行推理，但速度会明显较慢。

• 内存：建议至少8GB RAM。

软件要求

• 操作系统：Windows 10或更高版本。

• Python：建议使用Python 3.8或3.9版本。

• CUDA：CUDA Toolkit 11.1或更高版本（如果使用GPU）。

• 驱动程序：最新版本的NVIDIA驱动程序。

环境配置

安装依赖库

1. 创建虚拟环境：

   python -m venv chatglm_env

   激活虚拟环境：

   chatglm_env\Scripts\activate

2. 安装必要的Python库：

   pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
   pip install transformers==4.30.2
   pip install numpy
   pip install accelerate

模型下载与安装

获取ChatGLM3-6B模型的权重和配置文件

从Hugging Face下载模型权重：

1. 克隆仓库：

   git clone https://github.com/THUDM/ChatGLM3
   cd ChatGLM3

2. 下载模型权重： 可以使用Hugging Face的transformers库直接加载模型，也可以手动下载权重文件：

   from transformers import AutoModel, AutoTokenizer
   ​
   tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
   model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()

初步测试

运行基本测试脚本

验证模型是否成功部署并能正常工作：

1. 编写测试脚本：

   from transformers import AutoModel, AutoTokenizer
   ​
   tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
   model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()
   ​
   model = model.eval()
   ​
   def chat_with_glm(prompt):
       response, history = model.chat(tokenizer, prompt, history=[])
       return response
   ​
   prompt = "介绍一下ChatGLM3-6B模型。"
   response = chat_with_glm(prompt)
   print(response)

2. 运行脚本：

   python test_chatglm.py

   如果输出正确的回应，则说明部署成功。

常见问题及解决方法

问题1：模型加载失败

• 可能原因：网络问题或模型文件损坏。

• 解决方法：确保网络连接正常，重新下载模型文件，或尝试从其他镜像站点下载。

问题2：CUDA相关错误

• 可能原因：CUDA版本不匹配或驱动问题。

• 解决方法：确保CUDA Toolkit和NVIDIA驱动程序的版本与PyTorch兼容，必要时重新安装。

问题3：内存不足

• 可能原因：GPU内存不够，尤其是量化模型仍需一定的显存。

• 解决方法：使用更高配置的GPU，或者尝试在CPU上运行量化模型（速度会较慢）。

结论

通过本指南，您可以在Windows平台上成功部署ChatGLM3-6B，并利用4比特量化模型有效地降低内存需求。无论是进行对话系统开发还是文本分析任务，ChatGLM3-6B都能提供强大的支持。在实际使用过程中，如遇到任何问题，可以参考模型官方文档或相关技术社区寻求帮助。