昇腾910A单卡与多卡部署mindie框架开启qwen2-7B大模型api

笑死，根本学不会

已于 2025-02-18 11:30:39 修改

阅读量3.1k

点赞数 24

文章标签：人工智能 python

于 2024-11-21 18:04:27 首次发布

本文链接：https://blog.csdn.net/qq_38001481/article/details/143950196

版权

记录下整体流程。

文档参考昇腾大模型推理解决方案MindIE部署_mindie安装-CSDN博客https://blog.csdn.net/weixin_50005386/article/details/142389458?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~YuanLiJiHua~Ctr-1-142389458-blog-140803597.235%5Ev43%5Epc_blog_bottom_relevance_base8&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~YuanLiJiHua~Ctr-1-142389458-blog-140803597.235%5Ev43%5Epc_blog_bottom_relevance_base8&utm_relevant_index=1

1、mindie环境与模型准备

建议直接拉取镜像

镜像地址：镜像仓库网 (ovaijisuan.com)

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

笑死，根本学不会

关注关注

24
点赞
踩
24

收藏

觉得还不错? 一键收藏
11
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）

强化学习曾小健

04-18

3226

华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）

xiezhipu的博客

12-03

2701

我们在上一篇文章华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）中，介绍了一些准备工作。我估计这些东西下载好还是需要一点时间的，如果你幸运地通过了这些考验，还想继续的话，就来看看这一篇吧。在本篇文章中，我们继续深入探讨了如何在华为NPU服务器昇腾Ascend 910B2上部署通义千问Qwen2.5模型。

11 条评论您还未登录，请先登录后发表或查看评论

大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）

强化学习曾小健

07-19

2955

本文演示了如何快速在昇腾910B上微调baichuan2/qwen1.5大模型，相对于Nvidia GPU来说，目前将大模型部署到910B，基本上不需要太多额外的改动即可完成。当然该方案可能会遇到某些算子瓶颈，导致性能很差，特别是在910A上面特别明显。此外，还有一些库并没有原生支持Ascend NPU，比如：bitsandbytes、Xformers 等。因此，在训练和微调时，会受到一些限制。

昇腾系列芯片命名搞不清？看这一篇就够了！！！

小白菜的博客

03-03

2718

Ascend310（基本淘汰）

昇腾910A单卡与多卡部署mindie框架开启deepseek-R1蒸馏模型api

qq_38001481的博客

02-11

1601

deepseek-r1蒸馏模型在昇腾910a基于mindie框架的推理部署

移植CANN昇腾910A运行教程及兼容问题

m0_58355018的博客

02-19

228

[E:onnxruntime:, sequential_executor.cc:516 ExecuteKernel] Non-zero status code returned while running torch-jit-export_13819089367662451151_0 node. Name:'CANNExecutionProvider_torch-jit-export_13819089367662451151_0_0' Status Message: /root/onnxruntime/on

Mindie在华为910B推理大模型

weixin_41549308的博客

08-05

1674

之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。如果大家有部署问题，可以后台私信我~

Asced c 算子开发入门（硬件平台昇腾910A）

weixin_42140974的博客

12-27

1471

Asced c 算子开发、昇腾910 、pytorch迁移训练

昇腾大模型推理解决方案MindIE部署

深蓝

09-20

8950

昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家

MindIE Service服务化集成部署通义千问Qwen模型

qq_36344652的博客

07-30

3304

在基于MindIE实现千问Qwen推理加速后，继续研究了MindIE Service，将部署经验分享给需要的人

昇腾910B部署Qwen2-7B-Instruct进行流式输出【pytorch框架】NPU推理

懒惰是科技进步的原始动力

07-05

5394

昇腾适配Qwen2系列模型，包含Qwen1.5系列模型

Ascend910A Lora微调Qwen1.5 7B 报错Cast failed, original value: 0.0883883, type: FP32Imm 解决方法

深蓝

05-11

579

910a微调Qwen1.5 报错Cast failed, original value: 0.0883883, type: FP32Imm解决方式

Atlas 800 9000训练服务器（910A）本地部署Deepseek蒸馏版

m0_50123707的博客

02-26

854

本文全面且详细地指导如何在910A设备上成功部署并启动Deepseek蒸馏版推理服务。教程适用于所有Deepseek开源的蒸馏版本，操作步骤清晰，帮助用户轻松实现推理服务化，提供最强技术支持与辅助，确保每一步都无缝衔接，助您高效完成部署。

基于昇腾MindIE开箱部署Qwen2.5-VL-32B，体验更聪明的多模态理解能力

最新发布

2401_87243659的博客

03-31

1307

昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区，欢迎广大开发者下载体验！

【MindSpore功能】昇腾910上跑Mindspore.ops中算子，AIcore利用率为0，启动多个进程报错

weixin_45666880的博客

08-26

1065

检查用例跑的是不是Ascend上的算子，脚本中context里面的target设置是不是Ascend。另外单算子执行时间本来就很短，可能在你查看利用率的时候用例已经执行结束了。如果一定要查看利用率，建议开两个终端窗口，一个执行用例，另一个实时监控。昇腾910A训练卡上跑Mindspore.ops中算子，执行时npu AIcore利用率为0，启动多个进程运行，AIcore利用率依然为0，且报错。如何提高AIcore利用率呢？...

API部署大模型

cancer_s的博客

12-25

395

由于生产测试环境的服务器配置较低不能够支撑大模型运行的配置所以需要将大模型封装部署在A服务器上在B服务器上进行调用封装时可以使用FastAPI与Websocket两种通信方式进行通信。

基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

顺其自然~专栏

03-19

492

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。主要包括模型推理引擎 MindIE和模型服务化 MindIE-Service。从算子、模型、应用三大维度，全面加速推理部署。模型推理引擎：MindIE。

国产化推理引擎实现通义千问推理加速

qq_36344652的博客

07-30

1434

根据MindIE实现Qwen推理加速的部署经验，分享给需要的人

大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试

强化学习曾小健

08-03

2201

本文简要介绍了LLM推理过程、LLM推理服务的目标、常见的LLM服务评估指标以及LLM推理优化技术。同时，使用MindIE-Service对不同的大模型的推理延迟和吞吐量进行了测试。参考文档：Reproducible Performance Metrics for LLM inference / 可复现的语言大模型推理性能指标LLM 推理性能工程最佳实践大语言模型推理性能工程优化最佳实践吃果冻不吐果冻皮专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。150篇原创内容。

升腾910b mindie

01-24

### Ascend 910B MindIE 使用指南 #### 启动服务与接口使用为了启动基于Ascend 910B的服务并利用MindIE框架，开发者应当遵循官方提供的《MindIE Service开发指南》中的快速开始部分[^1]。该章节详细描述了如何初始化服务及其接口的具体方法。 #### 配置参数说明针对昇腾910A单卡或多卡部署mindie框架以开启特定的大模型API（如Qwen2-7B），配置文件中涉及的关键参数解释可以在相关文档找到[^2]。这些设置对于确保模型能够高效运行至关重要，并且直接影响到性能表现和服务稳定性。 #### 软硬件配套关系及环境准备当考虑使用Llama系列或其他大型预训练模型时，理解不同规模模型所需的支持平台非常重要。例如，在Atlas 800 T A2设备上执行全量微调或推理操作时，应参照具体的安装指导来搭建适合的计算资源组合[^3]。 #### 推理环境构建流程如果计划采用CenterNet这样的检测算法，则可以通过MindStudio工具简化整个过程。这不仅限于Centernet本身；实际上任何想要移植至Ascend架构下的神经网络都可以借鉴类似的步骤来进行前期准备工作，包括但不限于SSH连接设定、依赖库安装等环节[^4]。 ```bash # 安装必要的Python包 pip install -r requirements.txt ```