鲲鹏+两张昇腾300VproDeepSeek-R1实践及踩坑

一，环境介绍

本环境采用华为泰山200服务器，服务器配置768G内存，两颗昇腾300Vpro视频解析卡，系统采用华为openeuler22.03,配置时参考了华为昇腾社区官方稳定进行安装。

官方驱动链接1硬件安装-Atlas 300V 视频解析卡 用户指南（开发者场景）-Atlas 300V Pro 视频解析卡（开发者场景）开发文档-昇腾社区

 官方安装连接2DeepSeek-R1-Distill-Qwen-32B-模型库-ModelZoo-昇腾社区

二，安装过程

首先安装NPU卡到服务器，安装完成后参照驱动链接里的文档对NPU卡安装驱动及固件

./Ascend-hdk-310p-npu-driver_24.1.rc3_linux-aarch64.run --full --install-for-all

./Ascend-hdk-310p-npu-firmware_7.5.0.1.129.run --full

三，安装docker,参照链接1先做好源配置，然后

以root用户登录服务器安装Docker

Docker启动后下载昇腾官方的镜像，需要注册帐号申请使用后才能下载

镜像下载完成后，使用华为昇腾社区的命令进行docker启动

docker run -itd --net=host  --shm-size=1g \
    --privileged \
    --name=deepseek \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /etc/localtime:/etc/localtime \
    -v /root/.cache/modelscope/:/home/hwtest/modelscope \
    swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts  \
    /bin/bash

 

docker run -it -d --net=host --shm-size=1g \  #这个参数要加，不然启动模型会报错

--privileged \ #使用特权容器，这样容器自动使用物理机硬件资源，不用加卡加配置后重新启动配置容器

swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts  \ #这里填使用docker images查看到的docker 镜像

Docker 启动后使用docker ps 查看当前运行的docker名称

然后使用命令进入docker exec -it deepseek /bin/bash

进入docker后先通过如下命令安装ModelScope

pip install modelscope -i Simple Index

 modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

找到模型所在路径按图示进行修改，并修改模型配置文件权限750

进入cd /usr/local/Ascend/mindie/latest/mindie-service/conf文件夹修改config.json配置文件服务化推理

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

• 更改配置文件

{

...

"ServerConfig" :

{

...

"port" : 1040, #自定义

"managementPort" : 1041, #自定义

"metricsPort" : 1042, #自定义

...

"httpsEnabled" : false,

...

},

"BackendConfig": {

...

"npuDeviceIds" : [[0,1,2,3]],#按照实际NPU数量填写，一张卡填0，两张填0，1，依此类推

...

"ModelDeployConfig":

{

"truncation" : false,

"ModelConfig" : [

{

...

"modelName" : "qwen",#自定义模型名称

"modelWeightPath" : "/data/datasets/DeepSeek-R1-Distill-Qwen-32B",#模型所在路径

"worldSize" : 4,#有几张NPU卡就写几

...

}

]

},

}

}

• 拉起服务化，配置文件做完后进入如下目录拉起模型服务

cd /usr/local/Ascend/mindie/latest/mindie-service/bin

./mindieservice_daemon

启动成功后可使用命令查看NPU使用情况

最后可下载chatbox,测试模型