GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】

已于 2025-04-29 15:54:12 修改
阅读量841 收藏 8
点赞数 7
分类专栏： gpustack 昇腾 DeepSeek(ARM) 文章标签： 昇腾 Ascend Atlas deepseek qwen gpustack
于 2025-04-27 15:23:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mizhiakk/article/details/147554405
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2025年4月25日GPUStack发布了v0.6版本，为昇腾芯片910B（1-4）和310P3内置了MinIE推理，新增了310P芯片的支持，很感兴趣，所以我马上来捣鼓玩玩看哈
官方文档：https://docs.gpustack.ai/latest/installation/ascend-cann/online-installation/
目前GPUStack的Ascend MindIE推理引擎支持的模型列表：https://www.hiascend.com/document/detail/zh/mindie/100/whatismindie/mindie_what_0003.html

部署GPUStack

可以参考我之前写的：鲲鹏+昇腾部署集群管理软件GPUStack，两台服务器搭建双节点集群【实战详细踩坑篇】

启动并创建容器：

docker run -d --name gpustack \
    --restart=unless-stopped \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    --network=host \
    --ipc=host \
    -v gpustack-data:/var/lib/gpustack \
    gpustack/gpustack:latest-npu-310p

部署DeepSeek-R1

在这里插入图片描述
（1）登录后选择模型，搜索：deepseek，选择deepseek-ai/DeepSeek-R1-Distill-Qwen-7B模型，后端选择：Ascend MindIE，然后点保存。

在这里插入图片描述

下载完成后运行报错，查了一下，目前适配的Ascend MindIE是1.0.0版本，还没适配DeepSeek-R1！

在这里插入图片描述

以下为报错日志：

2025-04-27 06:42:05,038 [ERROR] model.py:39 - [Model]	>>> Exception:call aclnnInplaceZero failed, detail:EZ9999: Inner Error!
EZ9999: [PID: 43453] 2025-04-27-06:42:05.032.406 Parse dynamic kernel config fail.
        TraceBack (most recent call last):
       AclOpKernelInit failed opType
       ZerosLike ADD_TO_LAUNCHER_LIST_AICORE failed.

[ERROR] 2025-04-27-06:42:05 (PID:43453, Device:0, RankID:-1) ERR01100 OPS call acl api failed
Traceback (most recent call last):
  File "/usr/local/lib/python3.11/dist-packages/model_wrapper/model.py", line 37, in initialize
    return self.python_model.initialize(config)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/model_wrapper/standard_model.py", line 146, in initialize
    self.generator = Generator(
                     ^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/generator.py", line 119, in __init__
    self.warm_up(max_prefill_tokens, max_seq_len, max_input_len, max_iter_times, inference_mode)
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/generator.py", line 303, in warm_up
    raise e
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/generator.py", line 296, in warm_up
    self._generate_inputs_warm_up_backend(input_metadata, inference_mode, dummy=True)
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/generator.py", line 378, in _generate_inputs_warm_up_backend
    self.generator_backend.warm_up(model_inputs, inference_mode=inference_mode)
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/adapter/generator_torch.py", line 198, in warm_up
    super().warm_up(model_inputs)
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/adapter/generator_backend.py", line 170, in warm_up
    _ = self.forward(model_inputs, **kwargs)
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/utils/decorators/time_decorator.py", line 38, in wrapper
    return func(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/text_generator/adapter/generator_torch.py", line 153, in forward
    logits = self.model_wrapper.forward(model_inputs, self.cache_pool.npu_cache, **kwargs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/modeling/model_wrapper/atb/atb_model_wrapper.py", line 89, in forward
    logits = self.forward_tensor(
             ^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.11/dist-packages/mindie_llm/modeling/model_wrapper/atb/atb_model_wrapper.py", line 116, in forward_tensor
    logits = self.model_runner.forward(
             ^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/Ascend/atb-models/atb_llm/runner/model_runner.py", line 193, in forward
    return self.model.forward(**kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/Ascend/atb-models/atb_llm/models/base/flash_causal_lm.py", line 452, in forward
    self.init_ascend_weight()
  File "/usr/local/Ascend/atb-models/atb_llm/models/qwen2/flash_causal_qwen2.py", line 150, in init_ascend_weight
    weight_wrapper = self.get_weights()
                     ^^^^^^^^^^^^^^^^^^
  File "/usr/local/Ascend/atb-models/atb_llm/models/qwen2/flash_causal_qwen2.py", line 132, in get_weights
    weight_wrapper = WeightWrapper(self.soc_info, self.tp_rank, attn_wrapper, mlp_wrapper)
                     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/Ascend/atb-models/atb_llm/utils/data/weight_wrapper.py", line 49, in __init__
    self.placeholder = torch.zeros(1, dtype=torch.float16, device="npu")
                       ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: call aclnnInplaceZero failed, detail:EZ9999: Inner Error!
EZ9999: [PID: 43453] 2025-04-27-06:42:05.032.406 Parse dynamic kernel config fail.
        TraceBack (most recent call last):
       AclOpKernelInit failed opType
       ZerosLike ADD_TO_LAUNCHER_LIST_AICORE failed.

[ERROR] 2025-04-27-06:42:05 (PID:43453, Device:0, RankID:-1) ERR01100 OPS call acl api failed
2025-04-27 06:42:05,042 [ERROR] model.py:42 - [Model]	>>> return initialize error result: {'status': 'error', 'npuBlockNum': '0', 'cpuBlockNum': '0'}
[2025-04-27 06:42:05.146668+00:00] [43225] [43226] [server] [WARN] [llm_daemon.cpp:64] : [Daemon] received exit signal[17]
[2025-04-27 06:42:05.146771+00:00] [43225] [43226] [server] [INFO] [llm_daemon.cpp:69] : Daemon wait pid with 43453, status 9
[2025-04-27 06:42:05.146776+00:00] [43225] [43226] [server] [ERROR] [llm_daemon.cpp:74] : ERR: Daemon wait pid with 43453 exit, Please check the service log or python log.
[ERROR] TBE(43892,python3):2025-04-27-06:42:05.253.179 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43893,python3):2025-04-27-06:42:05.253.179 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43891,python3):2025-04-27-06:42:05.253.179 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43890,python3):2025-04-27-06:42:05.253.179 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43888,python3):2025-04-27-06:42:05.253.207 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43887,python3):2025-04-27-06:42:05.253.222 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43889,python3):2025-04-27-06:42:05.253.262 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE(43886,python3):2025-04-27-06:42:05.253.290 [../../../../../../latest/python/site-packages/tbe/common/repository_manager/utils/repository_manager_log.py:30][log] [../../../../../../latest/python/site-packages/tbe/common/repository_manager/route.py:65][repository_manager] Subprocess[task_distribute] raise error[]
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!
/usr/lib/python3.11/multiprocessing/resource_tracker.py:254: UserWarning: resource_tracker: There appear to be 30 leaked semaphore objects to clean up at shutdown
  warnings.warn('resource_tracker: There appear to be %d '
Daemon is killing...
[2025-04-27 06:42:10.147021][43225][localhost.localdomain][system][stop][endpoint][success]
[2025-04-27 06:42:10.147044][43225][localhost.localdomain][system][stop][mindie server][success]

部署Qwen2.5模型

目前看qwen2.5系列是支持的，所以尝试一下
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
也不行，我是真服了，报错日志和上面一模一样

发现问题了，原来也是要改模型权重的精度，不支持BF16，需要改成FP16
在这里插入图片描述
运行成功了！

在这里插入图片描述

测试对话

在这里插入图片描述
低参数基本都会有这个问题，我改回测高参数的模型，测试Qwen2.5-7B-Instruct正常

在这里插入图片描述
Deepseek-R1-qwen-7b，回答有点错乱，高参数的应该没事
在这里插入图片描述
Deepseek-R1-qwen-14b测试正常
在这里插入图片描述
在这里插入图片描述

深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？
强化学习曾小健
02-02 1609
单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16，这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s。，因此单柜性能在12TB推理内存, 推理速度极限是1024 token/s，如果每个用户给60 token/s， 那么理论上单柜并发量在17左右。（RAID卡还有个PCIe 4.0 ，但8卡应该是极限，因为还要联网），那么至少应该是个。)，内存翻倍，LPDDR4X 96GB或48GB，总带宽408GB/s。（4U机器，单柜8台）
鲲鹏服务器与昇腾卡（Atlas 300I Pro）协作搭建DeepSeek-R1-Distill-Qwen-7B：超前的深度学习加速技术探索
s13596191285的博客
03-19 322
随着人工智能应用的快速发展，深度学习模型的训练和推理任务对硬件性能提出了更高的要求。鲲鹏服务器结合昇腾卡（Atlas 300I Pro）为深度学习提供了强大的硬件支持。在本研究中，我们探讨了如何使用鲲鹏服务器和昇腾卡（Atlas 300I Pro）搭建高效的深度学习框架，特别是在利用DeepSeek-R1和Distill技术进行Qwen-7B模型的训练和优化方面的应用。通过多层次的硬件加速与软件优化，我们成功提升了模型的训练效率和推理性能，并推动了大规模AI应用的前沿进展。
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B
顺其自然~专栏
03-06 640
当前服务器配置为：2 * 鲲鹏920 + 2 * Atlas 300I pro系统：open Euler 22.03-LTS （AArch64）驱动版本：Ascend-hdk-310p-npu-driver_24.1.rc3_linux-aarch64.run固件版本：Ascend-hdk-310p-npu-firmware_7.5.0.1.129.run。
DeepSeek R1 && Ascend全国产化大模型推理本地化部署教程它来了
深蓝
02-05 7312
DeepSeek-R1在昇腾Atlas300IPro使用mindie推理套件本地化部署大模型推理。全栈国产化技术体系
DeepSeek-R1华为卡300i Duo环境搭建&推理测试
zzq1989_的专栏
03-10 1811
在N卡上的操作，应该已经展示的比较全面了。今年过年期间，华为很快就宣布适配DeepSeek-R1，刚好，手上有几张华为300i Duo卡，有资源部署。1、修改模型里的config.json比如模型路径为：/home/aicc/modelscope/deepseek/distill-32b。通过watch -n 1 npu-smi info命令查看当前的npu程序，看看是否加载顺利。前文已经写了不少DeepSeek相关的文章，感兴趣的童鞋可以移步（4、配置大模型路径、name和分配对应的芯片。
【AI系统】昇腾 AI 架构介绍
ZOMI酱
11-26 3547
昇腾计算产业是基于昇腾系列（HUAWEI Ascend）处理器和基础软件构建的全栈 AI 计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN（Compute Architecture for Neural Networks，异构计算架构）、AI 计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链。
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务
热门推荐
weixin_37447415的博客
10-29 1万+
本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试，完整的安装文档参考。安装过程中遇到问题可以在社区提问，目前该推理卡对新模型的支持不是太好，且实测下来性能不及3090（吐槽：显存虚报，标记48GB实际只有44GB；算力140TFLOAPS，但推理速度只有3090的1/3）。如果用于大模型训练或推理，直接使用910。安装的流程为：step1：安装驱动和固件step2：安装cannstep3：安装mindIE由于物理安装比较麻烦，官方提供了。
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mizhiakk的博客
02-13 9822
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
华为昇腾Atlas 300I DUO ram64架构部署RagFlow
最新发布
s6944660的博客
04-22 475
昇腾Atlas 300I DUO RAM64部署Ragflow
昇腾推理卡Atlas300IDuo跑sd-webui
深蓝
05-17 2068
昇腾Atlas300IDuo跑sd-webui
阿里云一键部署DeepSeek-V3、DeepSeek-R1模型
hao_kkkkk的专栏
02-14 1278
DeepSeek-V3是由深度求索公司推出的一款拥有6710亿参数的专家混合（MoE）大语言模型，DeepSeek-R1是基于DeepSeek-V3-Base训练的高性能推理模型。Model Gallery提供了BladeLLM、SGLang和vLLM加速部署功能，帮助您一键部署DeepSeek-V3和DeepSeek-R1系列模型。DeepSeek-R1、DeepSeek-V3满血版模型的参数量较大（671B），所需配置和成本较高（8卡96G显存以上）。
atlas 300i duo部署deepseek
03-31
好的，用户的问题是在Atlas 300I Duo上部署DeepSeek模型的教程。我需要先理清用户的真实需求，可能他们有一个具体的硬件环境，想要运行大语言模型，但遇到了一些挑战。用户提到的Atlas 300I Duo是华为的加速卡，可能...
实操指南：OrangePi AI Studio运行Deepseek-R1蒸馏模型
weixin_68994217的博客
02-11 1192
OrangePi AI Studio采用昇腾AI技术路线，融合“ARM core，AI core，Vector core，Image core”于一体，提供“基础通用算力+超强AI算力+编解码核心”，充分满足推训一体AI任务需求，拥有48GB /96GB LPDDR4X，速率高达4266Mbps。今天，我们就给大家分享如何利用手中的设备运行Deepseek。13)依次执行下面的命令，下载DeepSeek-R1-Distill-Qwen-14B模型权重，将其放到/models目录下。
ds-国内主要显卡
云里雾里的专栏
02-28 645
显卡
在昇腾GPU上部署DeepSeek大模型与OpenWebUI：从零到生产的完整指南
weixin_45631123的博客
03-08 1669
随着国产AI芯片的快速发展，昇腾（Ascend）系列GPU凭借其高性能和兼容性，逐渐成为大模型部署的重要选择。本文将以昇腾300i为例，手把手教你如何部署DeepSeek大模型，并搭配OpenWebUI构建交互式界面。无论你是AI开发者还是企业运维，都能通过本文快速搭建生产级AI服务。通过本文，你已成功在昇腾GPU上构建了从模型推理到Web交互的完整链路。随着昇腾生态的不断完善，国产AI芯片正在为开发者打开新的可能性。希望这篇指南能为你的AI应用部署提供实用参考！如有疑问，欢迎在评论区交流讨论。
鲲鹏主机+昇腾Atlas 300I Pro+龙蜥8.6 全国产化主机使用NPU推理YoloV5环境安装全过程
gogoytgo的博客
03-28 4062
昇腾Atlas 300I Pro + 龙蜥8.6 YOLOV5推理全流程
鲲鹏+两张昇腾300VproDeepSeek-R1实践及踩坑
AIBING1990的博客
03-03 1427
一，环境介绍本环境采用华为泰山200服务器，服务器配置768G内存，两颗昇腾300Vpro视频解析卡，系统采用华为openeuler22.03,配置时参考了华为昇腾社区官方稳定进行安装。官方驱动链接1官方安装连接2二，安装过程首先安装NPU卡到服务器，安装完成后参照驱动链接里的文档对NPU卡安装驱动及固件三，安装docker,参照链接1先做好源配置，然后以用户登录服务器安装DockerDocker启动后下载昇腾官方的镜像，需要注册帐号申请使用后才能下载。
GPUStack v0.4：文生图模型、语音模型、推理引擎版本管理、离线支持和部署本地模型
分享 GPU 管理与大模型推理相关技术实践
12-09 1303
千呼万唤，GPUStack 迄今最受用户关注、超多新功能的版本重磅发布！
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值