手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%_chatglm-6b cpu

大家好，我是微学AI，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。

ChatGLM-6B是清华开发的中文对话大模型的小参数量版本，目前已经开源了，可以单卡部署在个人电脑上，利用 INT4 量化还可以最低部署到 6G 显存的电脑上，在 CPU 也可以运行起来的。

项目地址：mirrors / THUDM / chatglm-6b · GitCode

第1步：下载：

git clone https://gitcode.net/mirrors/THUDM/chatglm-6b.git

**第2步：**进入ChatGLM-6B-main目录下，安装相关依赖

pip install -r requirements.txt

其中 torch安装CPU版本即可。

**第3步：**打开ChatGLM-6B-main目录的web_demo.py文件，源代码：

from transformers