Atlas 800 9000训练服务器（910A）本地部署Deepseek蒸馏版

硬件资源

• 910A服务器
• 固件、驱动、CANN配套安装（详细教程移步主页）
• 需安装Docker
• 教程适用于 DeepSeek 开源项目的所有蒸馏版本

下载权重

DeepSeek蒸馏版下载清单：

• DeepSeek-R1-Distill-Qwen-1.5B
• DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1Distill-Lama-70B

详细可见官网：

ModelScope-deepseek-模型仓

请选择您需要的模型，然后进入该模型的主页开始下载。以下以 DeepSeek-R1-Distill-Qwen-14B 为例进行说明。
DeepSeek-R1-Distill-Qwen-14B 模型权重下载地址：
DeepSeek-R1-Distill-Qwen-14B

• 请点击网页中的“下载模型”按钮进行下载。
  
• 在操作环境中 pip install modelscope
• 命令行下载完整模型库 modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
• 如需指定下载地址 modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --local_dir './local_dir' 。模型文件将被下载在’./local_dir’中
• 如果需要下载私有模型要login登陆，然后使用ModelScope SDK下载私有模型。

下载推理服务镜像-MindIE

该镜像拉取即可使用MindIE，无需其他配置！
MindIE-910A镜像链接

版本信息

Python版本：3.10
CANN版本：8.0.t63
操作系统版本：ubuntu_20.04

推荐卡数

• Qwen2-72B-W8A8 4卡
• Qwen2.5-32B-W8A8 2卡
• Qwen2-7B 1卡

启动镜像与容器

docker pull swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910A-ascend_24.1.rc3-cann_8.0.t63-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.T71.02

启动命令

参考命令：

！！！记得挂载自己的权重路径

docker run -it --ipc=host --net=host \
--name MindIE \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci_manager