基于MACE深度学习框架的落地实践（笔记）

最新推荐文章于 2023-10-23 09:55:18 发布
最新推荐文章于 2023-10-23 09:55:18 发布
阅读量560 收藏 2
点赞数
分类专栏： 嵌入式神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37818883/article/details/105904745
版权

一、为什么要把模型放到移动端
1、用户体验：可用性较高
2、成本：服务器成本较高
3、用户隐私：如语音、视频

二、AI模型开发部署流程

在服务端通过GPU集群的方式进行模型训练，然后把训练好的模型通过模型文件的方式导出，做一些格式转换，再通过移动端深度学习框架部署在移动端智能设备上

三、基于mace的落地实践
1、硬件选型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、框架适配
在这里插入图片描述
在这里插入图片描述
通过ONNX格式在这里插入图片描述

3、性能优化
在这里插入图片描述
在这里插入图片描述
优化瓶颈：如卷积计算，在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优势：存储量表变少，访存带宽减少
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
访存量会增加
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4、工程部署在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
五、趋势和展望
在这里插入图片描述

codelxy
关注
专栏目录
深度学习正确落地生钱姿势是什么？步骤是什么？
视觉人机器视觉的博客
09-21 397
深度学习正确落地生钱姿势什么？步骤是什么
浅谈深度学习落地问题
weixin_33810006的博客
10-15 717
前言深度学习不不仅仅是理论创新，更重要的是应用于工程实际。关于深度学习人工智能落地，已经有有很多的解决方案，不论是电脑端、手机端还是嵌入式端，将已经训练好的神经网络权重在各个平台跑起来，应用起来才是最实在的。(caffe2-ios:github.com/KleinYuan/C…)这里简单谈谈就在2018年我们一般深度学习落地的近况。OpencvOpencv相比大家都比较了解，很流行很火的开源图像处...
深度学习模型落地必备技能tensorRT扫盲篇
RayChiu757374816的博客
09-28 1446
tensorRT技术是人工智能模型部署的利器，目的主要是为了量化加速模型推理过程。
小米开源自研移动端深度学习框架MACE
移动娱乐-im臭皮匠的博客
06-29 1414
小米人工智能与云平台副总裁崔宝秋博士在开源中国开源世界高峰论坛上发表《小米 AI 时代的开源》演讲，并在会上宣布，开源小米自研的移动端深度学习框架 Mobile AI Compute Engine (MACE)。6 月 28 日，小米人工智能与云平台副总裁崔宝秋博士在开源中国开源世界高峰论坛上发表《小米 AI 时代的开源》演讲，并在会上宣布，开源小米自研的移动端深度学习框架 Mobile AI C...
小米开源框架MACE 创建模型部署文件
asonle的专栏
06-30 1552
转载自https://www.jianshu.com/p/823f7d7eaf58文章内容翻译自 MACE 官方手册，记录本人阅读与开发过程，力求不失原意，但推荐阅读原文。https://media.readthedocs.org/pdf/mace/latest/mace.pdfGithub地址：https://github.com/xiaomi/mace声明：如有侵权，请联系作者删除创建模型部署...
深度学习框架的来龙去脉——史上最全面最新的深度学习框架对比分析
zhaiqi0225的博客
03-13 4441
一、深度学习框架概述与深度学习技术的四大阵营 人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具，这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和性能调优的工作变得非常繁琐耗时也非常复杂。为了简化、加速和优化这个过程，学界和业界都作了很多的努力，开发并完善了多个基础的平台和通用工具，也被称会机器学习框架或深度学习框架。有了这些基础的平台和工具，...
钉头锤：MACE是针对移动异构计算平台优化的深度学习推理框架
02-04
移动AI计算引擎（简称MACE ）是针对Android，iOS，Linux和Windows设备上的移动异构计算而优化的深度学习推理框架。 该设计着重于以下目标： 性能 使用NEON，OpenCL和Hexagon对运行时进行了优化，并引入了以加快...
从TensorFlow到DL4J——主流深度学习框架对比分析
m0_60673947的博客
02-28 1720
从TensorFlow到DL4J——主流深度学习框架对比分析 2022年2月22日 极链AI云 官网地址 点击注册 更多AI小知识，关注《极链AI云》公众号 文章目录从TensorFlow到DL4J——主流深度学习框架对比分析一、深度学习框架概述与深度学习技术的四大阵营二、主流开源深度学习框架的来龙去脉2.1 TensorFlow2.2 Keras2.3 Pytorch2.4 Theano2.4 Caffe2.5 Caffe22.6 Torch2.7 FastAI2.8 MXNet2.9 Gluon
一种移动端异构开源神经网络计算框架MACE.pdf
09-25
本文主要介绍了一种专为移动端设计的异构开源神经网络计算框架——MACE（Mobile AI Compute Engine），它针对移动设备的特性进行了深度优化，以实现高效的神经网络计算。MACE不仅考虑了移动端的硬件限制，如尺寸、...
cpp-MobileAIComputeEngineMACE是一个小米专为移动端异构计算平台优化的神经网络计算框架
08-16
Mobile AI Compute Engine (MACE) 是一个小米专为移动端异构计算平台优化的神经网络计算框架
各类深度学习框架详解+深度学习训练环境搭建-GPU版本
最新发布
master_hunter的博客
10-23 3166
工欲善其事必先利其器，对工具的熟练程度很多时候决定你工程项目的质量和上限。对于人工智能工程师来说，搭建本地深度学习环境来说是比较麻烦的一件事，其中涉及到较多的相关硬件和软件的兼容问题。很多初学者安装的深度学习框架环境仅能够使用CPU运行并没有利用到GPU，关于很多硬件关联的深度学习训练框架并没有清楚的认知，导致配置环境的时候很容易出现各类错误。所以本篇文章主要讲述清楚如何搭建深度学习环境以及框架选择和自己硬件匹配的系统。如果你发现深度学习看似难以掌握，我将尽力简化知识，将其转化为我们更容易理解的内容。
深度学习推理框架调研总结
骊山道童的博客
01-03 2085
深度学习推理框架，方便开发者在设备上部署AI应用。
小米AI平台MACE的构建和部署
liguiyuan的博客
02-18 1386
1.准备部署文件 需要准备的部署文件包括头文件(.h), mace库文件(.)，转化后的模型(.a)，这里以resnet18v1-opt.onnx模型为例 1.1. 优化onnx模型 # Optimize your model $python MACE_ROOT/tools/onnx_optimizer.py resnet18v1.onnx resnet18v1-opt.onnx 1.2...
关于端侧推理的一些框架
lixuejun2008的博客
01-08 3367
1) NCNN（腾讯） ncnn加速不同于模型量化压缩, 而是采用另一种加速技巧，包括下面的几种: 使用低精度 采用openmp多线程加速 采用simd指令集 2) MNN（阿里） MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。这和服务器端 TensorRT 等推理引擎的想法不谋而合。 支持异构设备混合计...
MACE源码解析【ARM卷积篇(一) 】1*N和N*1卷积实现
XiaoHeiBlack的专栏
08-25 2862
MACE Mobile AI Compute Engine (MACE) 是一个专为移动端异构计算平台优化的神经网络计算框架，旨在深度神经网络部署在移动端，是一个SoC上的神经网络实现。主要涉及的硬件资源主要包括CPU、GPU、DSP，对应的技术为ARM NEON、OPEN CL、HVX。 项目地址：https://github.com/XiaoMi/mace 关于本系列 本篇主要解析MA...
2019 AI开发者大会
09-24
2019 AI开发者大会(AI ProCon 2019)是由中国IT社区CSDN主办的AI技术与产业年度盛会。多年经验淬炼，如今蓄势待发：2019年9月6-7日，大会将有近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者齐聚北京，进行技术解读和产业论证。我们不空谈口号，只谈技术，诚挚邀请AI业内人士一起共铸人工智能新篇章！
MACE简介
smartcat2010的博客
02-15 1236
Mobile AI Compute Engine (MACE)是一个专为移动端异构计算平台优化的神经网络计算框架。 主要从以下的角度做了专门的优化： 性能 代码经过NEON指令，OpenCL以及Hexagon HVX专门优化，并且采用Winograd算法来进行卷积操作的加速。 此外，还对启动速度进行了专门的优化。 功耗 支持芯片的功耗管理，例如ARM的big.LITTLE调度，以及高通Adreno GPU功耗选项。 系统响应 支持自动拆..
MACE(1)-----环境搭建
weixin_30344995的博客
08-15 713
学习MACE也有一个月了，将其划分三步来学习。本文是MACE学习的第一步即MACE环境的搭建。之后还有两步mace的编译和mace工程化。 　　MACE(2)-----模型编译：https://www.cnblogs.com/missidiot/p/9509831.html 　　MACE(3)-----工程化：https://www.cnblogs.com/missidiot/p/971763...
小米MACE：移动端深度学习框架详解
"小米MACE官方文档是一份详细阐述小米自研移动端深度学习框架Mobile AI Compute Engine (MACE)的指南，旨在帮助开发者理解和使用这个框架。MACE优化了在移动异构计算平台上的深度学习推理过程。" MACE深度学习框架...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值