CPU也能运行ChatGLM

CPU上也能跑ChatGLM

随着ChatGPT的问世，各种GPT如雨后春笋般出现，对于NLPer来说，最想要的肯定是拥有一套属于自己的开源的版本了。这里开源包含代码和模型哈。
目前看下来，对中文比较友好的就是清华大学出品的ChatGLM了，然而又有小伙伴踌躇不定了，我没有GPU怎么办，这里没有GPU也可以哦（仅限推理哈^ _ ^）
话不多说，直接上干货，ChatGLM 你值得拥有！

环境准备

官方Github地址：https://github.com/THUDM/ChatGLM-6B

对于有GPU的方法这里不再赘述，直接按ReadMe做即可，全程无障碍。
对于只有CPU的小伙伴来说，重点来了：

1. 下载代码库

git clone https://github.com/THUDM/ChatGLM-6B.git

2. pip安装

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载ChatGLM模型
   当然也可以用在线的Haggingface的模型，但加载较慢，个人建议用离线下载方式。

• 内存够用的（>32G）的下载6b版本:
  https://huggingface.co/THUDM/chatglm-6b/tree/main
• 内存不足32G的下载6b-int4版本:
  https://huggingface.co/THUDM/chatglm-6b-int4/tree/main

4. 安装 GCC 和 OpenMP
   在 CPU 上运行时，会根据硬件自动编译 CPU Kernel ，确保已安装 GCC 和 OpenMP （Linux一般已安装，对于Windows则需手动安装），以获得最佳并行计算能力。

运行ChatGLM

运行以下Python代码即可拥有属于你自己的ChatGLM了

from transformers import AutoTokenizer, AutoModel

# 这里使用绝对路径，否则会走弯路的
tokenizer = AutoTokenizer.from_pretrained("C:\\Users\\xxx\\chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("C:\\Users\\xxx\\chatglm-6b-int4",trust_remote_code=True).float()
model = model.eval()
input = "你好"
response, history = model.chat(tokenizer, input, history=[])
print(response)

没错，这么几行代码就可以。

有问题欢迎留言…