autodl部署chatglm3-6b踩坑记录

一、创建实例

创建实例时，尽量选个好点的，比如4090

二、配置基础镜像

最新版本的pytorch直接整上。

三、将chatglm3-6b下载到数据盘内

进入官网clone repository：

这里踩坑：如果按照官网的教程用git去clone到auto-tmp的话，99%可能会超时，因为autodl服务器本身没法科学上网。

这时候我们可以科学上网，在本地下载后上传到服务器上。也可以参考博客

http://t.csdnimg.cn/IB1Fz

使用wget下载LLM的权重，我们只需要下载并上传几个小的配置文件即可，省时省力。

踩坑二：也可以使用学术加速

source /etc/network_turbo

这样就可以正常clone了

四、配置环境

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3
pip install -r requirements.txt

注意requirements.txt里面标明了各个依赖需要的版本号范围，如果后面出现module类的错误，可以根据里面的版本号来重新安装对应的版本。

五、网页版demo（gradio驱动）

修改/ChatGLM3/basic_demo/web_demo_gradio.py中的模型路径，将路径改为第三步中的本地模型路径。

设置gradio的参数，server_port=6006，然后点击控制台面的 自定义服务，就可以了。（在文件最后一行）

运行网页版demo：

python web_demo_gradio.py 

---------------------------------------------------------------------------------------------------------------------------------

二更：