基于MACE深度学习框架的落地实践（笔记）

最新推荐文章于 2023-10-23 09:55:18 发布
最新推荐文章于 2023-10-23 09:55:18 发布
阅读量577 收藏 2
点赞数
分类专栏： 嵌入式神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37818883/article/details/105904745
版权

一、为什么要把模型放到移动端
1、用户体验：可用性较高
2、成本：服务器成本较高
3、用户隐私：如语音、视频

二、AI模型开发部署流程

在服务端通过GPU集群的方式进行模型训练，然后把训练好的模型通过模型文件的方式导出，做一些格式转换，再通过移动端深度学习框架部署在移动端智能设备上

三、基于mace的落地实践
1、硬件选型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、框架适配
在这里插入图片描述
在这里插入图片描述
通过ONNX格式在这里插入图片描述

3、性能优化
在这里插入图片描述
在这里插入图片描述
优化瓶颈：如卷积计算，在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优势：存储量表变少，访存带宽减少
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
访存量会增加
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
4、工程部署在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
五、趋势和展望
在这里插入图片描述

codelxy
关注
专栏目录
深度学习正确落地生钱姿势是什么？步骤是什么？
视觉人机器视觉的博客
09-21 410
深度学习正确落地生钱姿势什么？步骤是什么
浅谈深度学习落地问题
weixin_33810006的博客
10-15 722
前言深度学习不不仅仅是理论创新，更重要的是应用于工程实际。关于深度学习人工智能落地，已经有有很多的解决方案，不论是电脑端、手机端还是嵌入式端，将已经训练好的神经网络权重在各个平台跑起来，应用起来才是最实在的。(caffe2-ios:github.com/KleinYuan/C…)这里简单谈谈就在2018年我们一般深度学习落地的近况。OpencvOpencv相比大家都比较了解，很流行很火的开源图像处...
深度学习模型落地必备技能tensorRT扫盲篇
RayChiu757374816的博客
09-28 1472
tensorRT技术是人工智能模型部署的利器，目的主要是为了量化加速模型推理过程。
小米开源自研移动端深度学习框架MACE
移动娱乐-im臭皮匠的博客
06-29 1435
小米人工智能与云平台副总裁崔宝秋博士在开源中国开源世界高峰论坛上发表《小米 AI 时代的开源》演讲，并在会上宣布，开源小米自研的移动端深度学习框架 Mobile AI Compute Engine (MACE)。6 月 28 日，小米人工智能与云平台副总裁崔宝秋博士在开源中国开源世界高峰论坛上发表《小米 AI 时代的开源》演讲，并在会上宣布，开源小米自研的移动端深度学习框架 Mobile AI C...
小米开源框架MACE 创建模型部署文件
asonle的专栏
06-30 1562
转载自https://www.jianshu.com/p/823f7d7eaf58文章内容翻译自 MACE 官方手册，记录本人阅读与开发过程，力求不失原意，但推荐阅读原文。https://media.readthedocs.org/pdf/mace/latest/mace.pdfGithub地址：https://github.com/xiaomi/mace声明：如有侵权，请联系作者删除创建模型部署...
小米MACE：移动端深度学习框架详解
"小米MACE官方文档是一份详细阐述小米自研移动端深度学习框架Mobile AI Compute Engine (MACE)的指南，旨在帮助开发者理解和使用这个框架。MACE优化了在移动异构计算平台上的深度学习推理过程。" MACE深度学习框架...
深度学习框架的来龙去脉——史上最全面最新的深度学习框架对比分析
zhaiqi0225的博客
03-13 4517
一、深度学习框架概述与深度学习技术的四大阵营 人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具，这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和性能调优的工作变得非常繁琐耗时也非常复杂。为了简化、加速和优化这个过程，学界和业界都作了很多的努力，开发并完善了多个基础的平台和通用工具，也被称会机器学习框架或深度学习框架。有了这些基础的平台和工具，...
钉头锤：MACE是针对移动异构计算平台优化的深度学习推理框架
02-04
移动AI计算引擎（简称MACE ）是针对Android，iOS，Linux和Windows设备上的移动异构计算而优化的深度学习推理框架。 该设计着重于以下目标： 性能 使用NEON，OpenCL和Hexagon对运行时进行了优化，并引入了以加快...
从TensorFlow到DL4J——主流深度学习框架对比分析
m0_60673947的博客
02-28 1772
从TensorFlow到DL4J——主流深度学习框架对比分析 2022年2月22日 极链AI云 官网地址 点击注册 更多AI小知识，关注《极链AI云》公众号 文章目录从TensorFlow到DL4J——主流深度学习框架对比分析一、深度学习框架概述与深度学习技术的四大阵营二、主流开源深度学习框架的来龙去脉2.1 TensorFlow2.2 Keras2.3 Pytorch2.4 Theano2.4 Caffe2.5 Caffe22.6 Torch2.7 FastAI2.8 MXNet2.9 Gluon
cpp-MobileAIComputeEngineMACE是一个小米专为移动端异构计算平台优化的神经网络计算框架
08-16
Mobile AI Compute Engine (MACE) 是一个小米专为移动端异构计算平台优化的神经网络计算框架
各类深度学习框架详解+深度学习训练环境搭建-GPU版本
最新发布
master_hunter的博客
10-23 3380
工欲善其事必先利其器，对工具的熟练程度很多时候决定你工程项目的质量和上限。对于人工智能工程师来说，搭建本地深度学习环境来说是比较麻烦的一件事，其中涉及到较多的相关硬件和软件的兼容问题。很多初学者安装的深度学习框架环境仅能够使用CPU运行并没有利用到GPU，关于很多硬件关联的深度学习训练框架并没有清楚的认知，导致配置环境的时候很容易出现各类错误。所以本篇文章主要讲述清楚如何搭建深度学习环境以及框架选择和自己硬件匹配的系统。如果你发现深度学习看似难以掌握，我将尽力简化知识，将其转化为我们更容易理解的内容。
深度学习推理框架调研总结
骊山道童的博客
01-03 2137
深度学习推理框架，方便开发者在设备上部署AI应用。
小米AI平台MACE的构建和部署
liguiyuan的博客
02-18 1406
1.准备部署文件 需要准备的部署文件包括头文件(.h), mace库文件(.)，转化后的模型(.a)，这里以resnet18v1-opt.onnx模型为例 1.1. 优化onnx模型 # Optimize your model $python MACE_ROOT/tools/onnx_optimizer.py resnet18v1.onnx resnet18v1-opt.onnx 1.2...
小米开源框架MACE - 源码阅读笔记一
xsophiax的专栏
11-21 1047
首先先一目了然看一下其目录结构（这些个源码可以在github上下载到，只要在GitHub搜索mace即可）： 介绍 MACE（Mobile AI Compute Engine）是一个针对移动异构计算平台优化的深度学习推理框架。MACE提供工具和文档，帮助用户将深度学习模型部署到移动电话、平板电脑、个人电脑和物联网设备上。 架构 下图显示了整个体系结构 MACE模型 MACE定义...
MACE源码解析【ARM卷积篇(一) 】1*N和N*1卷积实现
XiaoHeiBlack的专栏
08-25 2904
MACE Mobile AI Compute Engine (MACE) 是一个专为移动端异构计算平台优化的神经网络计算框架，旨在深度神经网络部署在移动端，是一个SoC上的神经网络实现。主要涉及的硬件资源主要包括CPU、GPU、DSP，对应的技术为ARM NEON、OPEN CL、HVX。 项目地址：https://github.com/XiaoMi/mace 关于本系列 本篇主要解析MA...
MACE简介
smartcat2010的博客
02-15 1257
Mobile AI Compute Engine (MACE)是一个专为移动端异构计算平台优化的神经网络计算框架。 主要从以下的角度做了专门的优化： 性能 代码经过NEON指令，OpenCL以及Hexagon HVX专门优化，并且采用Winograd算法来进行卷积操作的加速。 此外，还对启动速度进行了专门的优化。 功耗 支持芯片的功耗管理，例如ARM的big.LITTLE调度，以及高通Adreno GPU功耗选项。 系统响应 支持自动拆..
2019 AI开发者大会
09-24
2019 AI开发者大会(AI ProCon 2019)是由中国IT社区CSDN主办的AI技术与产业年度盛会。多年经验淬炼，如今蓄势待发：2019年9月6-7日，大会将有近百位中美顶尖AI专家、知名企业代表以及千余名AI开发者齐聚北京，进行技术解读和产业论证。我们不空谈口号，只谈技术，诚挚邀请AI业内人士一起共铸人工智能新篇章！
小米开源框架MACE 如何构建和使用
asonle的专栏
07-02 7520
转载自https://www.jianshu.com/p/3be518027ac2文章内容翻译自 MACE 官方手册，记录本人阅读与开发过程，力求不失原意，但推荐阅读原文。https://media.readthedocs.org/pdf/mace/latest/mace.pdfGithub地址：https://github.com/xiaomi/mace声明：如有侵权，请联系作者删除如何构建支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值