Docker构建QWen大模型

序：采用AutoDL容器，快速搭建千帆大模型

参考网站：Qwen/README_CN.md at main · QwenLM/Qwen

准备工作：

GPU服务器，Ubuntu20+操作系统
安装并配置docker和nvidia-container-toolkit
# 配置docker
sudo systemctl start docker
# 测试docker是否安装正确
sudo docker run hello-world

# 配置nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# 测试nvidia-container-toolkit是否安装正确
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

核心分为以下3步：

一、docker镜像拉取

docker pull qwenllm/qwen:cu117

二、下载模型

这一步是最核心的内容，需要通过ModelScope下载模型和源代码

如果直接在服务器拉取模型，需要安装ModelScope环境、相当复杂并且会影响，这里建议使用AutoDL。

AU