AutoDL 云/内网部署 百川2、GLM2

 

---

AutoDL 云上部署 百川2、GLM2

配置环境

autodl：https://www.autodl.com/login

在算力市场选择一个GPU：

我比较喜欢4090，因为这个算力和A100一样，在大模型推理上速度比A100快。（A100主要是信道好，更适合训练大模型）。

我们用云上已经配置好的大模型环境：

选择【社区镜像】，输入：THUDM/ChatGLM2-6B/ChatGLM2-6B

选择第一个：

就是这个环境：

底部的【立即创建】点不了，可以点【余额不足充值】，充值 3 块钱即可，先不要充很多，低成本测试。

选择 JupylerLab：
不用了，就回到这个界面，点击关机即可，不会扣费。

如果之前的GPU上有下载文件，可以克隆实例，开新GPU。

体验

在终端2，输入：source /etc/network_turbo

进入ChatGLM2-6B文件夹：cd ChatGLM2-6B

命令行运行大模型：python cli_demo.py

常见问题

huggingface访问不了，使用学术资源加速

如果在终端中使用：

source /etc/network_turbo

如果是在Notebook中使用：

import subprocess
import os

result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
    if '=' in line:
        var, value = line.split('=', 1)
        os.environ[var] = value

取消学术加速，如果不再需要建议关闭学术加速，因为该加速可能对正常网络造成一定影响

unset http_proxy && unset https_proxy

大文件上传，百度、阿里网盘都可

https://www.autodl.com/docs/netdisk/

CUDA 空间不足

https://www.autodl.com/docs/qa4/

系统盘空间不足

https://www.autodl.com/docs/qa1/

省钱绝招

https://www.autodl.com/docs/save_money/

软件源

https://www.autodl.com/docs/source/

内网部署 百川2、GLM2

huggingface镜像网站：https://aliendao.cn/models

baichuan2-13B-Chat-4bits 获取链接：https://xueshu.fun/3041/

注册后，找到签到得2个金币，刚好换这个。

根据显存大小选模型

比如GPU显存是 16G（nvidia-smi查看）。

百川2-13B 光是模型加载就需要26GB的显存，加上推理需要的消耗，没28GB以上的显存是搞不了。

百川2-13B支持8位和4位的量化。

8位量化之后需要18.6G以上的显存。

4位量化之后需要11.5GB以上的显存。

量化才能部署上。

拉取docker镜像

拉取autodl上的镜像：

docker pull registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4

docker 根据指定镜像，且端口映射：

sudo docker run --name bc2 -p 8081:80 -it registry.cn-beijing.aliyuncs.com/codewithgpu/thudm-chatglm2-6b:SPawIKFit4 /bin/bash

再使用复制命令，把大模型放进入，如：

sudo docker cp Baichuan2-13B-Chat-4bits bc2:/mnt 
# 把 Baichuan2-13B-Chat-4bits 复制到 bc2 容器 mnt 文件夹

进入你刚创建的容器，如：

docker exec -it bc2 /bin/bash  

创建一个虚拟环境，避免包冲突。

python3 -m venv myenv       # 创建虚拟环境
source myenv/bin/activate   # 激活虚拟环境

下载大模型的环境依赖：

pip install -r requirements.txt (如果是内网，要加代理 --proxy=http://xxxx)

cuda GPU 版本不匹配问题

接着安装 CUDA 三件套

请猛击：https://blog.csdn.net/AiTanXiing/article/details/129933911

根据提示，安装模块

运行 python cli_demo_13b_4bits.py ：

报错1：ModuleNotFoundError: No module named 'colorama'

报错2：ModuleNotFoundError: No module named 'transformers'

报错3：ModuleNotFoundError: No module named 'sentencepiece'

下载以上模块即可。

报错4：AttributeError: 'BaichuanTokenizer' object has no attribute 'sp_model'

方案一：pip install transformers==4.26.1

方案二：[https://blog.csdn.net/qq_35166730/article/details/134162624](https://blog.csdn.net/qq_35166730/article/details/134162624)

报错5：ModuleNotFoundError: No module named 'scipy'

下载模块即可：pip install scipy

一般就成功了。

第二次部署问题：AttributeError: ‘list’ object has no attribute ‘as_dict’

我人麻了，我第一次部署成功了，第二次突然冒出这个错误，我也不会了 😕

我第一次部署，就是引入conda，创建了conda虚拟环境，再叠加一层虚拟环境，就没遇到这个问题