ChatGLM2-6B，部署及微调

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

代码地址：https://github.com/THUDM/ChatGLM2-6B
模型地址：https://huggingface.co/THUDM/chatglm2-6b
安装环境：Ubuntu_VM-GPU，3090

---

一、模型部署

1. 下载代码

提示：git clone https://github.com/THUDM/ChatGLM2-6B 有时候连不到github
因此，直接下载代码，上传到服务器去解压

2. 下载模型

① 首次运行程序，程序会自动从huggingface拉取，放入缓存文件夹中
② 同代码一样，先从网上下载再传到服务器。

3. 建立conda的虚拟环境

下面展示一些 内联代码片。

conda create -n chatglm python=3.10

conda activate chatglm

4. 安装环境依赖

进入到代码目录中，目录中有requirement.txt

pip install -r requirement.txt

5. 修改模型配置

打开web_demo.py

vim web_demo.py

修改代码中的模型地址，

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
 model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

将THUDM/chatglm2-6b换成模型上传的文件夹

6. 执行web_demo.py

python web_demo.py

加载模型后会给出web服务的地址

Running on local URL: http://127.0.0.1:7860
Running on public URL: https://8d65029a7d3a5a79fc.gradio.live

提示：要显示公共地址，需要在执行的代码的最后一行将share参数从False改成True

demo.queue().launch(share=True, inbrowser=True)

二、微调