目录
1.git拉取ChatGLM2-6B-PT
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
2.安装依赖包
pip install -r requirements.txt
3.运行web_demo.py文件
python web_demo.py
如果代码报错:AssertionError: Torch not compiled with CUDA enabled
解决办法:
1.服务器没有GPU安装GPU后再运行
2.将代码中涉及到.cuda() 的地方都改成.cpu() 尝试用cpu加载
4.本地下载并加载模型实现和参数
运行demo文件的时候代码会由 `transformers` 自动下载模型实现和参数。完整的模型实现在 https://huggingface.co/THUDM/chatglm2-6b。如果你的网络环境较差,下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地,然后从本地加载。
从 Hugging Face Hub 下载模型需要先[安装Git LFS]:
然后运行
git clone https://huggingface.co/THUDM/chatglm2-6b
如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢,可以只下载模型实现
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b
然后从[这里](https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/)手动下载模型参数文件,并将下载的文件替换到本地的 `chatglm2-6b` 目录下。 将模型下载到本地之后,将以上代码中的 `THUDM/chatglm2-6b` 替换为你本地的 `chatglm2-6b` 文件夹的路径,即可从本地加载模型。