想要自己的专属 AI 猫娘助理？教你使用 CPU 本地安装部署运行 ChatGLM-6B实现

今天介绍的ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。关键的是结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4 量化级别下最低只需 6GB 显存）虽然智商比不过 openAI 的 ChatGPT 模型，但是ChatGLM-6B 是个在部署后可以完全本地运行，可以自己随意调参，几乎没有任何审查限制，也几乎没有对话轮数限制的模型。那么ChatGLM-6B 模型用来调教成你自己的专属猫娘，魅魔什么的再合适不过了。

看看以下效果：

---

目录

前言

部署教程 

软硬件准备

正式开始部署

安装 Python 3.10.6 与 pip

安装 Git

安装 Git Large File Storage

下载 ChatGLM-6B

下载模型

运行 ChatGLM-6B

调教成魅魔或者猫娘

安装使用常见问题及优化

---

前言

当初这个模型一发布，我就第一时间尝试了，不过我虽然有4060笔记本，可惜是8GB显存版，INT4 量化级别下虽然能跑，但是智障程度有点过，还是希望能够使用全量模型，所以当时简单尝试 INT4 后就放到一边，专心折腾更聪明的openAI去了，然后月初就被 openAI 分手了（把我成功扣费了1次的