【记录】ChatGLM3-6B大模型部署、微调（一）：部署

ChatGLM3介绍

        源码连接：

        ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。以上所有权重对学术研究完全开放 ，在填写 问卷 进行登记后亦允许免费商业使用。

ChatGLM3-6B对话模型部署

推荐服务器环境

软件

• pytorch2.1.2
• tensorflow2.14.0
• python310

硬件

• 内存32G以上
• GPU 1*NVIDIA V100
• 显存16G以上（最低）

案例使用Notebook限免GPU环境

拉取github项目源码

#下载项目源码  建议在终端执行
#git clone https://github.com/THUDM/ChatGLM3.git
#若因为网络问题无法连接，建议使用gitee或者下载后上传

下载模型到本地

官网有多个下载地址，考虑网络原因使用modelscope

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

---

安装依赖

#安装python依赖 建议在终端执行  
pip install -r /mnt/workspace/ChatGLM3/requirements.txt

#如果报错 执行下面内容 隔离环境 如果无错误跳过环境隔离部分

此处python依赖包版本有问题，可能是安装的包与原环境中的包存在版本冲突。后续运行时会出现报错：“ImportError： cannot import name 'MultiModalData' from 'vllm.sequence' （/usr/local/lib/python3.10/dist-packages/vllm/sequence.py）” 

逐一解决比较麻烦，此处是测试直接进行环境隔离（也可以使用conda等方式）

# 环境隔离 终端执行
pip install virtualenv
virtualenv myenv
source myenv/bin/activate

再执行pip install -r /mnt/workspace/ChatGLM3/requirements.txt

修改模型路径

使用下载的本地模型路径

将THUDM/chatglm3-6b改为之前下载到本地的模型路径

启动对话程序测试

# 网页端启动
treamlit run /mnt/workspace/ChatGLM3/basic_demo/web_demo_streamlit.py

# 其他启动方式也在basic_demo中,可自行选择

总结

以上完成了ChatGLM3-6B本地模型的部署和简单测试。