腾讯云GPU测试服务器购买请参考:
https://mp.csdn.net/mp_blog/creation/editor/130768675
chatGLM6B安装请参考:
https://mp.csdn.net/mp_blog/creation/editor/130768486
安装完chatGLM6B之后,遇到一个问题:
- 尝试升级 transformers
pip install transformers==4.28.1
2. 安装git lfs,此处是在后续3中发现错误后执行,这里大家预先安装,避免踩坑。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt-get install -y --allow-unauthenticated git-lfs
然后普通用户下:
git lfs install
3. 安装过程中发现腾讯云中执行 git clone https://huggingface.co/THUDM/chatglm-6b 时,一开始秒级完成,怀疑是用了本地的镜像。但是里面的文件居然不是最新版本,比如:ice_text.model,这个文件应该是2.71M,而实际只有120KB。没办法,只好删除chatglm-6b文件夹,从我本地机器原来下载的最新版本的chatglm-6b上传到腾讯云服务器,尴尬的是腾讯云又有上传文件大小的限制,导致无法上传模型文件:
改为在云服务上执行 wget url去获取8个模型文件,又是秒级完成,但是启动的时候报模型文件加载错误,显然模型文件没能正确下载。
期间报了You seem to have cloned a repository without having git-lfs installed.错误。
根据上面第二步,安装了 git lfs。
多次删除chatglm-6b文件后,执行git clone https://huggingface.co/THUDM/chatglm-6b,终于不再秒级返回,下载完成后的ice_text.model大小也正确。
怀疑跟腾讯云的git镜像和之前没有安装git lfs有关。
- 因为 chatGLM6B默认关掉了share选项,只能从本地127.0.0.1:7860地址访问,因为我们需要修改ChatGLM-6B/web_demo.py中最后一行
demo.queue().launch(share=False, inbrowser=True)
修改为
demo.queue().launch(share=True, inbrowser=True)
- 执行python web_demo.py,漫长等待后,进入到了Lynx界面
这里安Q退出即可,可以看到启动信息:
复制public URL的地址在浏览器中直接访问即可。
Running on public URL: https://417a5ff2a5ce92fe58.gradio.live