尝试一下，在本地使用 ChatGLM3 模型搭建离线 AI 聊天系统

最新推荐文章于 2024-08-31 16:09:59 发布

程序员新亮

最新推荐文章于 2024-08-31 16:09:59 发布

阅读量1.4k

点赞数 20

文章标签：人工智能

本文链接：https://blog.csdn.net/XinLiangTalk/article/details/135762239

版权

什么是 ChatGLM3？

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。

ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，较前两代模型对话流畅、部署门槛也低。

本地搭建效果

简单描述下本地电脑的配置：

系统：macOS 11.4

处理器：3.2 GHz 六核Intel Core i7

内存：32G

说实话，我本地运行有点吃力，大家可以考虑在一些算力平台上部署玩玩。

搭建步骤

1. ChatGLM3 下载

代码仓库：https://github.com/THUDM/ChatGLM3

git clone https://github.com/THUDM/ChatGLM3

这个项目中没有包含模型，只有一些简单的自带聊天功能和相关接口示例，你需要下载所需的模型。

2. ChatGLM3-6B 模型下载

完整的模型实现可以在 Hugging Face Hub。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。

此时可以先将模型下载到本地，然后从本地加载。

从 Hugging Face Hub 下载模型需要先安装 Git LFS，然后运行

git clone https://huggingface.co/THUDM/chatglm-6b

如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢，可以只下载模型实现

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

然后从 https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/ 手动下载模型参数文件，并将下载的文件替换到本地的 chatglm-6b 目录下。

将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。

3. 安装并激活虚拟环境

conda create --name chatglm3 python=3.10
conda activate chatglm3

4. 安装基础依赖

cd ChatGLM3

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

5. 安装 composite_demo 依赖

cd composite_demo

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

演示中使用 Code Interpreter 还需要安装 Jupyter 内核：

pip install ipykernel -i https://mirror.sjtu.edu.cn/pypi/web/simple

ipython kernel install --name chatglm3 --user

6. 修改 client.py 里面的配置信息

// 修改 MODEL_PATH , chatglm3-6b 绝对路径
MODEL_PATH = os.environ.get('MODEL_PATH', '/Users/xinliang/ai/chatglm3-6b')

7. CPU 部署代码调整

// 如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下（需要大概 32GB 内存）

// 调整 client.py 150 ~ 155 行代码

self.model = (
    AutoModel.from_pretrained(
        MODEL_PATH,
        trust_remote_code=True,
        device_map="auto"
    ).float().eval())