Windows环境下搭建chatGLM-6B-int4量化版模型（图文详解-成果案例）

目录

一、ChatGLM-6B介绍

二、环境准备

1. 硬件环境

2. TDM-GCC安装

3.git安装

4.Anaconda安装

三、模型安装

1.下载ChatGLM-6b和环境准备

方式一：git命令

方式二：手动下载

2.下载预训练模型

方式一：在Hugging Face HUb下载（挂VPN访问，建议）

（1）git命令行下载：

 （2）手动下载

方式二：在魔塔社区下载（亲测速度快，不建议）

git命令行下载

 3.模型使用

1.命令行版：cli_demo.py

2.Web版本：（web_demo.py）

 3.API版本：api.py

四、遇到的问题

五、成果展示

---

一、ChatGLM-6B介绍

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 chatglm.cn 体验更大规模的 ChatGLM 模型。

为了方便下游开发者针对自己的应用场景定制模型，同时实现了基于 P-Tuning v2 的高效参数微调方法 (使用指南) ，INT4 量化级别下最低只需 7GB 显存即可启动微调。

二、环境准备

1. 硬件环境

如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。 

2. TDM-GCC安装

参考博客：Windows安装tdm-gcc并勾选openMP（详细图文）-CSDN博客

3.git安装

百度安装

4.Anaconda安装

超详细Anaconda安装教程-CSDN博客

三、模型安装

1.下载ChatGLM-6b和环境准备

下载地址：https://github.com/THUDM/chatglm-6B

从 Github 下载 ChatGLM-6B 仓库，然后进入仓库目录使用 pip 安装依赖，

其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

方式一：git命令

（1）在D盘打开命令提示窗口，默认下载到当前目录

git clone https://github.com/THUDM/ChatGLM-6B

（2）切换到chatGLM-6B目录

cd ChatGLM-6B

（3）创建conda的虚拟环境,指定Python的版本

conda create -n torch python=3.10

（4）激活环境

conda activate torch

（5）下载依赖包

pip install -r requirements.txt

方式二：手动下载

（1）在github地址：https://github.com/THUDM/chatglm-6B

 解压到你自己的目录

（2）切换到ChatGLM-6B目录

cd ChatGLM-6B

（3）创建conda的虚拟环境,指定Python的版本