快速搭建chatglm-6b

  近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。我对新技术充满热情，积极体验各类GPT AI产品，包括领先的GPT龙头ChatGPT，百度的文心一言和文心千帆，阿里的通义千问，以及金山的WPSAI等。作为这些产品的忠实测试者之一，我甚至还尝试过一些产品的API接口，将其与微信对接，实现了微信聊天机器人。然而，当开源的大模型ChatGLM面世时，我却遇到了一些困扰。受限于经济状况，我无法购买深度学习计算机，无法亲手搭建大模型并进行微调训练，错失了这份乐趣。但幸运的是，腾讯云给了我一个难得的机会。

  腾讯云最近推出了一项令人兴奋的活动，GPU限时特惠，仅需72元/15天就能获得计算型GPU云服务器。这真是一个难得的机会，让我有机会亲自体验自建模型和微调训练的过程。虽然只有短短的15天时间，但幸运的是，之前我对模型搭建和微调训练有一定的了解，并且作为开发运维方面的专业人士。我决定抓住这个宝贵的机会体验一下自建模型的乐趣，于是花了三天时间，凭手速迅速抢到了一台GPU云服务器。以下是配置信息：

有了机器马上开干。

配置环境

下载项目仓库

root@VM-0-17-ubuntu:~# git clone https://github.com/THUDM/ChatGLM-6B
root@VM-0-17-ubuntu:~# cd ChatGLM-6B/

构建conda环境

root@VM-0-17-ubuntu:~# conda create --name chatglm python=3.8
root@VM-0-17-ubuntu:~# conda activate chatglm

下载依赖

在conda虚拟环境下，下载chatglm需要的依赖文件, 这里需要的时间比较长，需要耐心等待

root@VM-0-17-ubuntu:~# pip install -r requirements.txt

准备模型文件

下载安装git-lfs

root@VM-0-17-ubuntu:~# apt-get install git-lfs
root@VM-0-17-ubuntu:~# git lfs install

下载模型文件

模型文件我放到工程的ChatGLM-6B/THUDM目录下

root@VM-0-17-ubuntu:~# cd ChatGLM-6B && mkdir THUDM
root@VM-0-17-ubuntu:THUDM# git lfs clone https://huggingface.co/THUDM/chatglm-6b

模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件：

测试

终端运行demo

进入ChatGLM-6b工程的根目录。执行python cli_demo.py

哈哈，终于见到了效果，虽然对于一些知识的回答不准确，但这只是数据问题，程序还是跑起来了。

web端运行

ChatGLM-6b工程的根目录。执行

root@VM-0-17-ubuntu:ChatGLM-6B# python -m streamlit run web_demo2.py --server.port 27777 --server.address 0.0.0.0 

执行成功的效果如下：

打开浏览器可见到如下界面:

跟它对话一下的效果，还不错：

总结

   经过长达12小时的折腾，终于把公开的模型跑起来了，虽然步骤不多，但中间也确实遇到了一些问题，比如系统依赖库缺失，网络环境依赖，下载速度缓慢等。但终究体验了一把模型在自己手上的感觉。如果大家在部署时遇到了什么难题，可以加微信咨询我哦。

  使用感觉上，自建模型不如chatgpt，跟文心一言，wpsai是差不多。反应速度还可以。

  公开的模型跑起来了，那么接下来才是重头戏，自己微调训练数据，打造属于自己的gpt......