mindie与mindspore是什么关系？

最新推荐文章于 2025-03-19 10:09:33 发布

小乐快乐

最新推荐文章于 2025-03-19 10:09:33 发布

阅读量2k

点赞数 3

文章标签： python 网络

本文链接：https://blog.csdn.net/weixin_45666880/article/details/140047925

版权

问题描述：

MindIE（Mind Inference Engine，推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。

MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。

从字面理解，MindIE 和 MindSpore 都能做推理，区别在哪？

MindIE 未开源，MindSpore 已开源，原因是啥？

这两个最终会不会统一？

解决方案：

MindIE 是昇腾提供的新的大模型推理解决方案，支持使用MindSpore和Pytorch训练的模型进行推理加速及部署。

详细介绍您可以参考这里看看。https://zhuanlan.zhihu.com/p/692377206

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小乐快乐

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

华为昇腾MindIE+Dify本地私有化部署大模型经验分享

Yingjie_Zhang666的博客

02-14

4261

本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。

【大语言模型_2】mindie部署deepseek模型

没枕头我咋睡觉

02-19

1505

进入容器，修改配置文件。不修改启动模型会报错。

参与评论您还未登录，请先登录后发表或查看评论

基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

最新发布

顺其自然~专栏

03-19

851

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。主要包括模型推理引擎 MindIE和模型服务化 MindIE-Service。从算子、模型、应用三大维度，全面加速推理部署。模型推理引擎：MindIE。

华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测

强化学习曾小健

08-03

3933

原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。

昇思MindSpore介绍

qq_56073056的博客

08-17

738

昇腾计算，是基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend系列芯片、Atlas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。华为Atlas人工智能计算解决方案，是基于昇腾系列AI处理器，通过模块、板卡、小站、服务器、集群等丰富的产品形态，打造面向“端、边、云”的全场景AI基础设施方案，涵盖数据中心解决方案、智能边缘解决方案，覆盖深度学习领域推理和训练全流程。

昇思MindSpore 2.4版本正式上线，原生亲和超节点、升级分布式并行能力，使能大模型训练加速

Kenji_Shinji的博客

11-01

1242

如上图所示，输入模型的内存和时间信息，以及部分流水线并行性能相关的超参（如重计算对性能的影响），工具将自行构建线性规划问题，通过全局求解的方式，为大模型自动生成流水线并行中的stage-layer配比，调整各layer重计算策略，自动优化集群算力和内存利用率，降低空等时间，实现Pipeline并行分钟级策略寻优，大幅度降低性能调优成本，显著提升端到端训练性能。如下图所示，给定神经网络的计算图后，我们首先对没有配置切分策略的算子进行枚举，以确定其可行的策略，并对每条边的重排布策略及其相应的代价进行计算。

昇腾大模型推理解决方案MindIE部署

深蓝

09-20

9949

昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家

Mindie在华为910B推理大模型

weixin_41549308的博客

08-05

1726

之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。如果大家有部署问题，可以后台私信我~

零基础入门使用华为MindSpore AI框架学习笔记

six_lucky的博客

01-22

1026

MindSpore是华为推出的全场景AI计算框架，旨在为开发者提供一个高效、灵活且易用的AI开发平台。它支持从深度学习到机器学习的各种算法，能够在云端、大数据中心、边缘计算设备、智能终端等多种场景中应用。MindSpore的优势在于其优化过的硬件加速、自动化开发流程、全栈式一体化架构，以及对昇腾芯片等硬件平台的深度整合。MindSpore不仅支持图形化开发，还允许开发者在分布式计算、大规模数据处理以及物联网设备上灵活部署模型。

昇思MindSpore学习总结三——数据集dataset

qq_41566819的博客

06-27

1529

数据是深度学习的基础，高质量的数据输入将在整个深度神经网络中起到积极作用。MindSpore提供基于Pipeline的数据引擎，通过数据集（Dataset）和数据变换（Transforms）实现高效的数据预处理。其中Dataset是Pipeline的起始，用于加载原始数据。mindspore.dataset提供了内置的文本、图像、音频等数据集加载接口，并提供了自定义数据集加载接口。

昇思MindSpore学习笔记2-01 LLM原理和实践 --基于 MindSpore 实现 BERT 对话情绪识别

muren的专栏

07-02

1348

通过识别BERT对话情绪状态的实例，展现在昇思MindSpore AI框架中大语言模型的原理和实际使用方法、步骤。

300IDUO卡mindie镜像百度云

03-12

通过Docker镜像，开发者可以确保他们的应用程序在一个隔离的环境中运行，该环境与开发环境保持一致，从而减少环境因素造成的不确定性。对于300IDUO这类系统来说，可能是面向特定业务或应用场景的定制硬件或软件...

MindIE部署流程

Yingjie_Zhang666的博客

02-21

2594

本篇文章是《华为昇腾MindIE+Dify本地私有化部署大模型经验分享》系列文章的第一篇，讲述了如何部署华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎），作为大模型本地私有化部署的后端管理平台。下一篇将会分享Dify的部署流程，系列文章持续更新中。

昇腾MindIE大模型推理套件运行出错及解决方式（出问题后记录，陆续更新）

深蓝

09-13

1681

MindIE大模型推理套件问题记录

mindie推理大语言模型问题及解决方法汇总

yuanlulu的博客

12-23

2488

昇腾MindIE多机集群推理自动化部署的“神器”来袭! 支持Deepseek R1/V3满血版

2401_87243659的博客

02-27

1275

在传统的AI模型部署过程中，工程师们常常面临着诸多挑战。多机集群的配置复杂，手动部署不仅耗时费力，还容易出现错误。昇腾MindIE多机集群推理自动化工具的出现，正是为了解决这些痛点。它通过自动化的部署流程，极大地简化了多机集群推理的复杂性，让工程师们能够更专注于模型的开发和优化，而不是被繁琐的部署细节所困扰。目前该工具已上线魔乐社区，欢迎体验！

昇腾Mindie + mis-tei + dify + DeepSeek-R1-Distill-Qwen-32B-W8A8

zyfengg的博客

03-05

2949

提前准备模型：bge-large-zh-v1.5 、 bge-reranker-large。5、配置dify信息，获取mindie和mis-tei服务可用模型。docker ps 查看后台拉起dify依赖容器。4、后台npu-smi info查看容器运行情况。查看版本 docker-compose -v。2、mis-tei 安装和拉起。3、dify 安装和拉起。1、Mindie 服务。蒸馏模型LLM模型信息。从昇腾镜像中心获取镜像。获取dify源码并进入。配置mindie模型。

MindIE 1.0.RC1 发布，昇腾终于推出了针对LLM的完整部署方案

强化学习曾小健

08-03

1852

MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。本文简要介绍了 MindIE 基本特性，后续我也会推出一些MindIE相关的实战教程，如果大家感兴趣，请持续关注。

基于华为昇腾NPU采用MindIE推理LLM并兼容OpenAI API服务化

kelxLZ的博客

01-18

2358

最近学校购置了一批采用昇腾910B2作为NPU的鲲鹏服务器，由于目前没有很好的微调想法或者工作，于是打算先把这些机器拿来跑推理任务，这样还可以省一批消费API的经费。基于这个目的我于是开始了探索，发现网上并没有关于此的完整记录，故撰写本文由于本校直接采用的是基于天翼云的息壤一体化智算服务平台，一些例如CANN和NPU-Driver之类的底层物理机环境无需我考虑。于是我直接从怎么获取MindIE镜像开始我的机器应该是对应Atlas800IA2这个型号，采用的是昇腾910B2的NPU，这点我们可以输入。

基于MindIE在910B平台部署DeepSeek

02-15

### 如何在昇腾Ascend 910B平台上使用MindSpore部署DeepSeek #### 准备工作为了成功部署DeepSeek，在昇腾Ascend 910B平台上的准备工作至关重要。确保安装了必要的软件包和依赖项，包括但不限于Python环境、MindSpore框架以及特定于硬件的支持库[^1]。 #### 配置开发环境配置适用于昇腾Ascend 910B的开发环境涉及设置正确的编译器版本和其他工具链组件。这一步骤对于实现最佳性能尤为关键。推荐遵循官方文档中的具体说明来完成此过程[^2]。 #### 安装MindSpore 针对昇腾Ascend 910B优化过的MindSpore版本可以从官方网站获取并按照给定指令进行安装。考虑到不同操作系统可能存在差异化的安装流程，请参照对应操作系统的安装指南执行相应命令。 ```bash pip install mindspore-ascend==1.x.x -i https://pypi.tuna.tsinghua.edu.cn/simple ``` #### 下载预训练模型访问ModelZoo或其他可信资源下载预先训练好的DeepSeek-R1 671B权重文件。这些权重将用于初始化网络参数以便后续微调或推理应用。 #### 加载与转换模型结构定义利用提供的脚本或者自定义代码片段读取已保存下来的checkpoint文件，并将其转化为适合当前运行时加载的形式。注意要匹配好源码中定义的数据流图同实际物理设备之间的映射关系。 ```python import numpy as np from mindspore import Tensor, load_checkpoint, load_param_into_net # 假设已经有一个构建好了的model实例化对象net param_dict = load_checkpoint("path/to/deepseek_r1_671b.ckpt") load_param_into_net(net, param_dict) input_tensor = Tensor(np.random.randn(1, 3, 224, 224).astype(np.float32)) output = net(input_tensor) print(output.shape) ``` #### 设置监控机制鉴于昇腾Ascend 910B的特点，建议集成Prometheus等外部监测服务跟踪重要性能指标如NPU显存占用率及数据处理速度。这样可以帮助及时发现潜在瓶颈从而采取措施加以改进。