ChatGLM官方Github链接 https://github.com/THUDM/ChatGLM-6B
我就是一步步按照官方部署教程完成ChatGLM部署。对于官方文档里面详细描述的部署步骤不进一步赘述。这里主要记录几个自己遇到的问题
1 安装环境及依赖
ChatGLM部署需要安装python, pytorch等环境,为了防止现有电脑里的python环境版本不符合出现问题,我们可以使用anaconda管理多个独立的python环境
这里我们使用占用内存更小的miniconda
下载地址:https://docs.conda.io/en/latest/miniconda.html#linux-installers
Miniconda自带python,注意下载python版本在3.10
下载安装miniconda后,系统默认处于base环境,我们创建新环境名为chatglm
conda create -n chatglm --clone base
conda activate chatglm
官方github里的requirements.txt文件列出了ChatGLM所有依赖及版本,下载官方guthub库到本地后,执行
pip install -r requirements.txt
这里如果下载速度慢可以将pip更换为国内源,这里我选择了清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
2 下载模型到本地
在官方的原示例中,模型文件由transformer远程下载,速度会非常慢(ChatGL