鲲鹏+昇腾部署通义千问 QwQ-32B（详细版）【信创国产化】

硬件

配置：2 * 920 + 4 * Atals 300I duo
系统： openEuler 22.03 lts
参考文章：https://modelers.cn/models/MindIE/QwQ-32B
感谢魔乐社区，昇腾社区，魔搭社区

前期环境准备

模型权重下载
建议modelscope下载

在下载前，请先通过如下命令安装ModelScope
pip install modelscope

下载完整模型库
modelscope download --model Qwen/QwQ-32B

准备好镜像
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
我之前写的文章有下载，自己去找了哈

安装docker和docker compose
之前文章都有

部署

在300I DUO服务器部署模型时，需要修改权重目录下的config.json文件，“torch_dtype"字段改为"float16”

拉取镜像
docker load -i mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts(下载的镜像名称与标签)

新建容器
docker run -it --privileged -u root --net=host --ipc=host \
    --name Deepseek--r1-qwq-32b \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
	-v /root/:/root/ \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash

打开配置文件
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
 
更改配置文件
{
...
"ServerConfig" :
{
...
"port" : 1040, #自定义
"managementPort" : 1041, #自定义
"metricsPort" : 1042, #自定义
...
"httpsEnabled" : false,
...
},

"BackendConfig": {
...
"npuDeviceIds" : [[0,1,2,3]], //四张卡得改到7
...
"ModelDeployConfig":
{
"truncation" : false,
"ModelConfig" : [
{
...
"modelName" : "qwen2",
"modelWeightPath" : "/data/datasets/QwQ-32B",
"worldSize" : 4, //四张卡是8
...
}
]
},
}
}

给模型权重目录下的config.json权限

拉起服务化
cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

成功

测试接口并修改回答参数

curl -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{
 "model": "DeepSeek-R1-qwq-32b",
 "messages": [{
 "role": "system",
 "content": "你好，请背诵蜀道难"
 }],
 "max_tokens": 1024
 }' 127.0.0.1:1025/v1/chat/completions

测试没问题，我更改一下回答参数

连接openwebui

这次的qwen2相比之前qwen1强太多了，回答很有深度，理解也很到位，推理确实比之前强

连接dify

没问题哈