华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）

已于 2025-02-07 17:41:19 修改
阅读量4.7k 收藏 26
点赞数 36
分类专栏： 昇腾环境下大模型实践（含多模态大模型，Agent） 文章标签： 华为 服务器 运维 语言模型 自然语言处理 人工智能 深度学习
于 2024-12-03 18:14:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiezhipu/article/details/144220287
版权

文章目录

重要提醒：MINDIE镜像已更新版本，官网相关文档直接被删除了，建议直接移步新版
昇腾，mindie，镜像，部署vllm：第1篇，安装新的docker 镜像
昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理

引言

最近单位给整了一台上面带8块昇腾Ascend 910B2的服务器，现在需要在上面部署通义千问的Qwen2.5。

然后就开始各种网上找资料，各种踩坑。如今终于跑通了，就想从头记录一下。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）
xiezhipu的博客
02-10 1930
一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
08-23 17万+
本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）
xiezhipu的博客
12-03 2852
我们在上一篇文章华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）中，介绍了一些准备工作。我估计这些东西下载好还是需要一点时间的，如果你幸运地通过了这些考验，还想继续的话，就来看看这一篇吧。在本篇文章中，我们继续深入探讨了如何在华为NPU服务器昇腾Ascend 910B2上部署通义千问Qwen2.5模型。
基于昇腾MindIE开箱部署Qwen2.5-VL-32B，体验更聪明的多模态理解能力
2401_87243659的博客
03-31 2427
昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区，欢迎广大开发者下载体验！
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（三）
xiezhipu的博客
12-04 3179
这是咱这个系列的第三个文章了。毕竟，这是我好几天摸索出的经验，能帮助各位在几个小时内领会，我觉得也算是我的功劳一件了。所以，一是希望大家耐心看下去，耐心操作下去；制作不易，多谢大家了。华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）
昇腾910b部署qwen-7b-chat进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
01-10 7909
解决报错'torch_npu._C._NPUDeviceProperties' object has no attribute 'major' 解决报错call aclnnEmbedding failed, detail:EZ1001: weight not implemented for DT_BFLOAT16, should be in dtype support list [DT_DOUBLE,DT_FLOAT,DT_FLOAT16,DT_INT64,DT_INT32,DT_INT16,DT_INT8
华为昇腾910B2：从芯片到应用，构建AI生态新高地
2502_90485365的博客
02-05 5583
• 卡间互连带宽：其卡间互连带宽为392GB/s，虽然与NVIDIA A800的400GB/s相近，但由于互连拓扑不同，实际性能表现存在差异。• 算力：昇腾910B2的算力基本对齐NVIDIA A800，能够满足大规模训练任务的需求。• 能效比：在鲲鹏底座的服务器中，昇腾910B2的功耗较低，具有更好的“性能/功耗”比。• 高性能：具备强大的计算能力和高效的卡间通信能力，能够满足大规模AI训练的需求。• 低功耗：在鲲鹏底座的服务器中，具有较低的功耗，能够降低数据中心的运营成本。
昇腾910B部署Qwen2-7B-Instruct进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
07-05 5602
昇腾适配Qwen2系列模型，包含Qwen1.5系列模型
华为昇腾910b服务器部署DeepSeek翻车现场
qq_73797346的博客
02-16 5768
最近到祸一台HUAWEI Kunpeng 920 5250，先看看配置。之前是部署的讯飞大模型，发现资源利用率太低了。把5台减少到3台，就出西安了它。华为昇腾920b服务器部署DeepSeek翻车现场
基于昇腾-MindSpore的Qwen1.5-14B SFT
weixin_63601366的博客
09-26 1474
基于昇腾全系的Qwen1.5-14b SFT参考资料
在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理
2301_78285120的博客
11-03 4825
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
LLM实践系列-昇腾910B上进行Qwen2.5推理
xx_nm98的博客
11-03 7079
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
GPU 进阶笔记（二）：华910B GPU
hao_wujing的专栏
12-30 4万+
！
华为910b推理Qwen1.5-72b
weixin_41549308的博客
07-12 3975
910b部署推理大模型
华为昇腾MindIE部署DeepSeek-Distill大模型和Qwen-VL多模态大模型
最新发布
CV小星的博客
04-10 996
华为MindIE部署DeepSeek Distill大模型、Qwen-VL多模态大模型。
基于昇腾910B搭建多节点K8s集群
小白菜的博客
01-11 3253
自从 2013 年 Docker 诞生以来，容器一跃成为 IT 界最热门的话题。而 Kubernetes 趁着容器的东风，击败众多竞争对手，成为了“容器编排”领域的King。可以说，现在 Kubernetes 已经没有了实际意义上的竞争对手，它的地位就如同 Linux 一样，成为了事实上的云原生操作系统，是构建现代应用的基石。
昇腾910B国产化大模型适配指南
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
华为昇腾Qwen2-VL-7B-Instruct模型训练微调推理
qq_52293026的博客
04-02 929
主要描述了如何使用华为昇腾的设备在云上搭建一个Qwen2-VL-7B-Instruct模型，并且用自定义数据集进行训练，微调，推理。其它模型可以参考。
MindIE Service服务化集成部署通义千问Qwen模型
qq_36344652的博客
07-30 3602
在基于MindIE实现千问Qwen推理加速后，继续研究了MindIE Service，将部署经验分享给需要的人
昇腾910B Qwen 2.5
01-19
### 昇腾910B与Qwen 2.5的技术文档、资源下载及使用教程 #### 关于昇腾910B的技术特性 昇腾910B是一款高性能AI处理器，专为大规模机器学习训练设计。该芯片支持多种数据精度运算，在FP16半精度浮点数计算方面表现出色，能够提供高达每秒数百万亿次的操作性能[^1]。 对于希望利用昇腾910B构建高效能人工智能应用的企业和个人开发者而言，官方提供了详尽的技术手册和开发指南来帮助理解如何充分利用这款硬件的优势。这些资料通常可以在华为官方网站的相关产品页面找到。 #### 部署Qwen 2.5模型至昇腾平台的方法指导 针对Qwen 2.5这一大型预训练语言模型的具体部署工作，则可以参考Hugging Face平台上发布的项目说明文件以及社区贡献者分享的经验贴。特别是链接指向的位置给出了有关此版本模型架构特点及其优化建议的信息[^2]。 值得注意的是，当涉及到具体实施细节时，比如怎样调整超参数以适应特定应用场景下的需求，或是解决可能出现的各种兼容性和效率问题，往往还需要查阅更多针对性强的专业文献和技术博客文章作为补充参考资料。 为了实现最佳效果，可能还需考虑如下几个方面： - **环境配置**：确保操作系统内核版本满足最低要求；安装必要的依赖库如Python解释器及相关扩展包。 - **框架适配**：确认所使用的深度学习框架（例如PyTorch或TensorFlow）已正确编译并加载了适用于NPU加速的支持模块。 - **性能调优**：依据实际测试情况微调批处理大小(batch size)，线程数量(thread count)等影响运行速度的关键因素。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu ``` 上述命令展示了如何通过pip工具安装适合CPU设备的基础版PyTorch套件，但对于基于昇腾系列GPU的产品来说，则应替换相应的URL地址以便获取经过特别定制化的二进制发行版。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

几道之旅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值