chatGLM6B 腾讯云安装问题解决

文章讲述了在腾讯云GPU服务器上安装和使用chatGLM6B的过程中遇到的问题,包括transformers的升级、gitLFS的安装和使用,以及模型文件下载的错误。作者通过多次尝试解决了gitclone速度过快导致的模型文件不完整问题,并成功启动了ChatGLM-6B的web演示。
摘要由CSDN通过智能技术生成

腾讯云GPU测试服务器购买请参考:

https://mp.csdn.net/mp_blog/creation/editor/130768675

chatGLM6B安装请参考:

https://mp.csdn.net/mp_blog/creation/editor/130768486

安装完chatGLM6B之后,遇到一个问题:

 

  1. 尝试升级 transformers

   pip install transformers==4.28.1

   2. 安装git lfs,此处是在后续3中发现错误后执行,这里大家预先安装,避免踩坑。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

apt-get install -y --allow-unauthenticated git-lfs

然后普通用户下:

git lfs install

   3. 安装过程中发现腾讯云中执行 git clone https://huggingface.co/THUDM/chatglm-6b 时,一开始秒级完成,怀疑是用了本地的镜像。但是里面的文件居然不是最新版本,比如:ice_text.model,这个文件应该是2.71M,而实际只有120KB。没办法,只好删除chatglm-6b文件夹,从我本地机器原来下载的最新版本的chatglm-6b上传到腾讯云服务器,尴尬的是腾讯云又有上传文件大小的限制,导致无法上传模型文件:

 

改为在云服务上执行 wget url去获取8个模型文件,又是秒级完成,但是启动的时候报模型文件加载错误,显然模型文件没能正确下载。

期间报了You seem to have cloned a repository without having git-lfs installed.错误。

根据上面第二步,安装了 git  lfs。

多次删除chatglm-6b文件后,执行git clone https://huggingface.co/THUDM/chatglm-6b,终于不再秒级返回,下载完成后的ice_text.model大小也正确。

怀疑跟腾讯云的git镜像和之前没有安装git lfs有关。

  1. 因为 chatGLM6B默认关掉了share选项,只能从本地127.0.0.1:7860地址访问,因为我们需要修改ChatGLM-6B/web_demo.py中最后一行

      demo.queue().launch(share=False, inbrowser=True)

  修改为

demo.queue().launch(share=True, inbrowser=True)

  1. 执行python web_demo.py,漫长等待后,进入到了Lynx界面

 

这里安Q退出即可,可以看到启动信息:

 

复制public URL的地址在浏览器中直接访问即可。

Running on public URL: https://417a5ff2a5ce92fe58.gradio.live

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值