阿里开源！轻量级深度学习端侧推理引擎 MNN

最新推荐文章于 2024-08-04 17:18:31 发布

阿里云技术

最新推荐文章于 2024-08-04 17:18:31 发布

阅读量616

点赞数

文章标签：深度学习 android 图像搜索

本文链接：https://blog.csdn.net/weixin_43970890/article/details/89922747

版权

MNN是一个轻量级的深度学习端侧推理引擎，专注于模型在移动端的高效运行，已在多个阿里巴巴App及IoT设备中广泛应用。其优势在于通用性、轻量性、高性能和易用性，支持多种模型格式和设备，并在iOS和Android平台上进行了深度优化。MNN已开源并在不断进化，旨在提供简单、高效的端侧推理解决方案。

摘要由CSDN通过智能技术生成

AI科学家贾扬清如此评价道：“与 Tensorflow、Caffe2 等同时覆盖训练和推理的通用框架相比，MNN 更注重在推理时的加速和优化，解决在模型部署的阶段的效率问题，从而在移动端更高效地实现模型背后的业务。这和服务器端 TensorRT 等推理引擎的想法不谋而合。在大规模机器学习应用中，考虑到大规模的模型部署，机器学习的推理侧计算量往往是训练侧计算量的十倍以上，所以推理侧的优化尤其重要。”

MNN背后的技术框架如何设计？未来有哪些规划？今天一起来深入了解。

1、MNN是什么？

MNN 是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。目前，MNN已经在手淘、手猫、优酷、聚划算、UC、飞猪、千牛等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景，每天稳定运行上亿次。此外，菜鸟自提柜等 IoT 设备中也有应用。在 2018 年双十一购物节中，MNN 在天猫晚会笑脸红包、扫一扫、明星猜拳大战等场景中使用。

该项目已经在 Github 开源，关注“阿里技术”官方公众号，并在对话框内回复“MNN”，即可获得 Github 下载链接、了解更多详情。

2、MNN的优势

MNN 负责加载网络模型，推理预测返回相关结果，整个推理过程可以分为模型的加载解析、计算图的调度、在异构后端上高效运行。MNN 具有通用性、轻量性、高性能、易用性的特征：

通用性：

支持 Tensorflow、Caffe、ONNX 等主流模型格式，支持 CNN、RNN、GAN 等常用网络；
支持 86 个 TensorflowOp、34 个 CaffeOp ；各计算设备支持的 MNN Op 数：CPU 71 个，Metal 55 个，OpenCL 40 个，Vulkan 35 个；
支持 iOS 8.0+、Android 4.3+ 和具有POSIX接口的嵌入式设备；
支持异构设备混合计算，目前支持 CPU 和 GPU，可以动态导入 GPU Op 插件，替代 CPU Op 的实现；

轻量性&#