昇腾910B部署阿里通义千问QWQ32B+接入Dify

折腾了好久才成功，留着当个笔记吧

参考官方页面qwq-32b，但是官方页面很多东西没讲清楚，只能自己一步一步摸索；

一、准备模型和镜像

模型在魔乐社区下载，昇腾应该是只支持BF16的，之前在modelscope下载的模型都失败了。

昇腾镜像qwq-32b：需要准备华为账号申请，审核时间我登了4天，真妮玛慢

二、Docker启动镜像

docker创建命令：注意用--net=host，后面接入dify的时候在这里踩了个坑，虽然我也不知道为什么

docker run -it -d --net=host --shm-size=100g \
    --name qwq32b \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
    -v /data/shenshan/MindSDK:/data/shenshan/MindSDK:ro \
    swr.cn-south-1.myhuaweicloud.com/ascendhub/qwq-32b:0.1.1-arm64 bash

进入容器：docker exec -it qwq32b bash

默认进入/opt目录，目录下有个run.sh，直接运行就可以启动模型

不过在这之前，先修改环境变量

保证models/MindSDK/QwQ-32B这样的层级结构

修改缓存目录MIS_CACHE_PATH，跟上面一样的路径

export MIS_CACHE_PATH="/data/models"

修改运行端口 MIS_PORT（这个应该随意）

export MIS_PORT="1025"

 回到/opt目录，执行run.sh

./run.sh

等待服务启动成功 

INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

 接入Dify（OpenAI-API-compatible）

特别要注意的是API url，端口后面接的是openai/v1，不是v1