【寒武纪（6）】MLU推理加速引擎MagicMind，最佳实践（三）使用框架模型ONNX

最新推荐文章于 2025-06-06 20:49:56 发布
最新推荐文章于 2025-06-06 20:49:56 发布
阅读量584 收藏
点赞数
分类专栏： GPU_TensorRT_ONNX_嵌入式部署 文章标签： 寒武纪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djfjkj52/article/details/134695198
版权

支持情况
在这里插入图片描述

Pytorch 只支持 1.6.0 导出。

如何生成ONNX？

在这里插入图片描述

解析失败

包括：Parse 过程转换失败node index，不支持的模型输入tensor name，不支持的控制流子图输入tensor name。

在这里插入图片描述

提取支持的子图

在这里插入图片描述

【寒武纪（6）】MLU推理加速引擎MagicMind，最佳实践（二）混合精度
Hali_Botebie的博客
11-29 636
混合精度在精度损失范围内实现数倍的性能提升。
【寒武纪（6）】MLU推理加速引擎MagicMind，最佳实践（一）
Hali_Botebie的博客
11-29 1443
在某些场景，例如分通道量化网络中，会在每个卷积算子后面添加一个乘法加法孙子，此时由于卷积算子无法直接融合乘法加法算子，性能较融合差，才外还会阻塞器后算子向前融合，例如导致后续出现Relu/ReluN 算子也无法融合进卷积算子，性能较差，此时可以尝试 convs cale fusion。该功能是在模型编译阶段，通过在MLU 板卡上抓取融合算子的运行时间，为后续算子融合的评估流程提供真实的算子运行时间数据，使得系统在算子融合是选择运行最快的算子融合方案，最终提升模型性能。（对这个不懂的可以看我之前的文章。
国产算力平台 × NVIDIA GPU 混合部署全流程实战：昇腾 / 寒武纪与异构推理系统集成解析
努力分享一些人工智能相关的知识干货！
05-06 1066
随着国产 AI 芯片（如昇腾、寒武纪）的日趋成熟，越来越多的企业在构建 AI 推理平台时开始考虑 **昇腾/寒武纪与 NVIDIA GPU 的混合部署架构**。本篇文章基于 2025 年实际生产部署经验，从架构设计、驱动适配、模型格式转换、异构调度、容器化部署到性能调优等维度，系统性拆解国产芯片与 NVIDIA GPU 的融合路径，涵盖 MindX SDK、MagicMind SDK、TensorRT 引擎的兼容适配，结合 Kubernetes + Helm 的多实例调度模式，构建一套高可用、可迁移、支持模
MLU上使用MagicMind GFPGANv1.4 onnx加速！
xiaojunjun200211的博客
01-06 1234
MagicMind是面向寒武纪MLU的推理加速引擎。MagicMind能将人工智能框架（TensorFlow、PyTorch、Caffe与ONNX等）训练好的算法模型转换成MagicMind统一计算图表示，并提供端到端的模型优化、代码生成以及推理业务部署能力。MagicMind 致力于为用户提供高性能、灵活、易用的编程接口以及配套工具，让用户能够专注于推理业务开发和部署本身，而无需过多关注底层硬件细节。
寒武纪mlu pytorch
weixin_41205621的博客
09-05 646
使用寒武纪 MLU 和 PyTorch 实现机器学习模型 寒武纪 MLU 是一种用于加速深度学习计算的硬件平台，结合了 PyTorch，可以大幅提高模型训练和推理的效率。本文将详细介绍如何在寒武纪 MLU 上使用 PyTorch，并给出完整的实现步骤和代码示例。 流程概述 以下是实现过程的基本步骤： 步骤 描述 ...
关于端侧推理的一些框架
lixuejun2008的博客
01-08 4018
1) NCNN（腾讯） ncnn加速不同于模型量化压缩, 而是采用另一种加速技巧，包括下面的几种: 使用低精度 采用openmp多线程加速 采用simd指令集 2) MNN（阿里） MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。这和服务器端 TensorRT 等推理引擎的想法不谋而合。 支持异构设备混合计...
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
qq_39691492的博客
12-20 9277
在国产GPU寒武纪MLU上快速上手Pytorch使用指南
Vision Transformer 在国产芯片上的模型拆解方案：结构重构、模块适配与推理部署实战指南
努力分享一些人工智能相关的知识干货！
06-05 613
Vision Transformer（ViT）作为图像任务中的 Transformer 架构代表，在分类、检测、分割等任务中展现出超越 CNN 的泛化能力。然而其在部署至国产芯片平台（如昇腾、寒武纪、地平线、天数智芯）时，面临 Patch Embedding 结构不兼容、多层 Attention 模块图编译失败、高维张量不支持等严峻挑战。本文结合截至 2025 年 5 月的最新平台生态与部署实践，系统拆解 ViT 核心模块的结构形式，分析各平台支持差异，提出模块级重构与推理优化路径，并通过实际案例验证 Vi
模型结构 × Runtime 架构兼容矩阵设计与评估体系：国产芯片端到端部署适配全景指南
最新发布
努力分享一些人工智能相关的知识干货！
06-06 705
随着大模型向终端侧迁移的趋势加速，不同模型结构在各类 AI 芯片 Runtime 架构下的执行兼容性成为影响部署效率与性能的核心因素。无论是 ResNet、MobileNet 等传统图像模型，还是 BERT、ViT 等复杂结构，其在 NNAPI、TFLite、ONNX Runtime、自研 SDK 等 Runtime 体系下的表现千差万别。本文基于 2025 年国产主流芯片（地平线、寒武纪、天数智芯）平台最新适配结果，系统构建“模型结构 × Runtime 架构”兼容性评估矩阵，从结构识别、执行路径判定、性
【寒武纪（5）】基于MLU的2D图像算法加速CNCV；基于MLU的AI计算库CNNL、编程模型、定点量化、算子融合；基于MLU的AI操作融合算子CNNL_Extra
Hali_Botebie的博客
11-15 1171
CNCV 结合寒武纪的硬件架构特点，使CV 算子达到最佳性能，并减少内存占用。
【算力智享库】探秘国产显卡：性能角逐背后的隐藏王者是谁？
BNCIC的博客
01-13 5125
MLU590的设计在性能、灵活性和扩展性之间达到了良好平衡，是AI训练和推理的重要选择。智铠100是天数智芯推出的一款专注于推理任务的通用GPU加速卡，基于通用架构设计，提供200 TFLOPS的推理算力，同时保持150W的超低功耗，展现出极高的能效比，特别适合安防、金融等对低功耗部署有严格要求的行业。海光K100拥有100 TFLOPS的峰值算力、64GB显存和896GB/s的显存带宽，在FP16性能上与K100AI版有较大差异，采用双精度计算单元，定位于需要高精度计算的通用任务场景。
真实力？杠杆资金？寒武纪巨亏超50亿，2024年A股涨幅第一
qq_39169663的博客
01-01 1587
但公司的核心技术来自寒武纪的自主研发，拥有自主知识产权，为应对上述风险，公司将基于产业政策与产业链上下游长期、广泛、良好的合作，在产品研发各阶段继续与各相关方保持良好沟通，并积极探索，做好各项应对工作，推动公司业务持续发展。据百度内部的测试结果显示，寒武纪思元590支持几乎所有的主流模型，但是不同模型的差别性非常大，有些模型的训练性能已经非常接近A100，但是也有很多模型的训练性能只在A100的50%左右，综合性能应该接近A100 80%的水平。不仅如此，指数基金的扩容也是寒武纪-U股价上涨的原因之一。
【寒武纪（9）】MLU架构
Hali_Botebie的博客
11-15 6075
⼀个MLU 设备由 Memory ⼦系统、MTP（Multi Tensor Processor）⼦系统、Media ⼦系统等构成。MTP⼦系统是寒武纪MLU 架构的核⼼。
DeepSeek 2月27日技术突破：三大核心功能解析与行业影响
大刘讲IT
02-27 1090
DualPipe是一项极具创新性的双向管道并行算法，旨在解决大规模模型训练过程中计算与通信效率低下的关键问题。在传统的模型训练模式里，前向计算和后向计算依次执行，这使得GPU在运行过程中频繁出现“流水线气泡”，即GPU处于空闲等待状态，极大地降低了计算资源的有效利用率。DualPipe通过独特的双向流水线设计，实现了前向和后向计算阶段的无缝重叠。它采用PTX语言级SM资源调度，具备支持8级流水线并行与20个微批次调度的强大能力，从而显著提升了GPU的利用率。
【Pytorch FastestDet模型寒武纪200移植分享】
weixin_44112313的博客
01-05 978
Pytorch FastestDet模型 基于寒武纪 移植介绍
PyTorch模型转换为MLU220支持的离线模型教程
weixin_42613360的博客
10-14 1053
本文还有配套的精品资源，点击获取 简介：本教程详细介绍了如何将PyTorch模型转换为MLU220芯片支持的 .cambricon 格式，以实现高效推理。内容涵盖模型量化的步骤，包括模型准备、量化和验证，以及模型融合和离线模型生成的过程。在进行模型转换时，重要的是要注意量化的精确度影响，并确保安装了正确的Cambricon SDK工具。 1. PyT...
寒武纪MLU硬件--抽象硬件模型介绍
qq_43527718的博客
07-22 1403
一些基本概念 MLU Core：是寒武纪硬件的基本组成单元。每个MLU Core是具备完整计算、IO和控制功能的处理器核心，可独立完成一个计算任务，也可与其他MLU Core协作完成一个计算任务 Cluster：每4个MLU Core构成一个Cluster，每个Cluster内还会包含一个额外的Memory Core和一块被Memory Core和4个MLU Core共享的SRAM（Shared RAM，共享存储单元） Memory Core：不能执行向量和张量计算指令，只能用于SRAM和DDR（Dou
模型推理: OCR 实现
shengyin714959的博客
07-24 256
硬件：寒武纪 MLU370 AI 加速卡框架：PyTorch 1.6、MagicMind 0.14.0。
寒武纪MLU resnet50量化与离线推理深度解析
本资源摘要将详细解读寒武纪MLU（Cambricon MLU）平台上实现的ResNet50模型量化及离线推理流程。 知识点一：量化技术 量化技术是将深度学习模型中的浮点数参数转换为低比特的整数表示，以此减少模型的存储和计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hali_Botebie

文中错误请不吝指正！！！！！！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值