鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+Open-webui【信创国产化】（详细存档版）

mzak

已于 2025-04-08 09:28:12 修改

阅读量3.6k

点赞数 8

分类专栏：昇腾鲲鹏 DeepSeek(ARM) 文章标签： ai 人工智能 deepseek

于 2025-02-15 15:55:38 首次发布

本文链接：https://blog.csdn.net/mizhiakk/article/details/145651471

版权

昇腾同时被 3 个专栏收录

11 篇文章

订阅专栏

鲲鹏

9 篇文章

订阅专栏

DeepSeek(ARM)

5 篇文章

订阅专栏

参考文章：https://blog.csdn.net/taogumo/article/details/141932072
https://www.hiascend.com/software/modelzoo/models/detail/ed4a8911f1a74613a82dc50b1661208c
服务器配置：鲲鹏2920+1Atlas 300 I duo，内存128GB

1.前期准备

参考我之前部署Qwen-7b的文章：
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts以及其他mindie镜像下载列表【昇腾社区】
模型下载：https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/files
感谢魔塔社区，昇腾社区，魔乐社区！

2.部署

下载启动open-webui

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui1 --restart always ghcr.io/open-webui/open-webui:main

命令我复制之前参考博客的，可以去掉关联ollama
在这里插入图片描述
访问： http://localhost:8080进入open-webui

导入模型，因为昇腾部署的DeepSeek-R1-Distill-Qwen-32B支持openAI-API，直接导入
在这里插入图片描述
导入之前记得运行模型，拉起服务化

cd /usr/local/Ascend/mindie/latest/mindie-service/bin
./mindieservice_daemon

在这里插入图片描述
在系统测试

在open-webui测试
在这里插入图片描述
在open-webui问没有乱码，回复正常

容器如下：
在这里插入图片描述

3.一些小问题

1.建立容器我改了，之前报错

docker run -it --privileged -u root --net=host --ipc=host \
    --name Deepseek-32b-new \
    --device=/dev/davinci_manager \
    --device=/dev/hisi_hdc \
    --device=/dev/devmm_svm \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
    -v /usr/local/sbin:/usr/local/sbin:ro \
	-v /root/:/root/ \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash