ubuntu22.04CPU部署ChatGLM笔记

ChatGLM官方Github链接 https://github.com/THUDM/ChatGLM-6B

我就是一步步按照官方部署教程完成ChatGLM部署。对于官方文档里面详细描述的部署步骤不进一步赘述。这里主要记录几个自己遇到的问题

1 安装环境及依赖

ChatGLM部署需要安装python, pytorch等环境，为了防止现有电脑里的python环境版本不符合出现问题，我们可以使用anaconda管理多个独立的python环境
这里我们使用占用内存更小的miniconda
下载地址：https://docs.conda.io/en/latest/miniconda.html#linux-installers

Miniconda自带python，注意下载python版本在3.10

下载安装miniconda后，系统默认处于base环境，我们创建新环境名为chatglm

conda create -n chatglm --clone base
conda activate chatglm

官方github里的requirements.txt文件列出了ChatGLM所有依赖及版本，下载官方guthub库到本地后，执行

pip install -r requirements.txt

这里如果下载速度慢可以将pip更换为国内源，这里我选择了清华源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

2 下载模型到本地

在官方的原示例中，模型文件由transformer远程下载，速度会非常慢（ChatGL