MNN推理引擎框架简介

最新推荐文章于 2024-04-03 16:08:47 发布

中兴开发者社区小助理

最新推荐文章于 2024-04-03 16:08:47 发布

阅读量1.1k

点赞数 1

文章标签：人工智能

本文链接：https://blog.csdn.net/csdndevpress0035/article/details/131899759

版权

MNN是一个由阿里巴巴开发的轻量级深度神经网络推理引擎，用于在移动端实现高效的模型推理。它支持多种训练框架，如Tensorflow Lite、Caffe和ONNX，并在多款阿里系App中广泛应用。MNN的工作流程包括模型转换和端上推理，其中端上推理涉及Pre-inference、算子优化和Backend Abstraction等步骤。Pre-inference阶段，MNN通过代价评估选择最优计算方案，内核优化中应用Winograd算法和Strassen算法提高性能，同时提供Backend Abstraction以适配不同硬件平台。

摘要由CSDN通过智能技术生成

1.MNN介绍

随着手机算力的不断提升，以及深度学习的快速发展，特别是小网络模型不断成熟，原本在云端执行的推理预测就可以转移到端上来做。端智能即在端侧部署运行AI算法，相比服务端智能，端智能具有低延时、兼顾数据隐私、节省云端资源等优势。

MNN（Mobile Neural Network）一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。

图 1：MNN概述图

2.MNN整体方案

图 2：MNN框架

由上图所示，MNN基本的工作流由两部分组成，即Offline Conversion和On-device Inference。

Converter由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)，最终全部转换为MNN自定义的模型格式（.mnn）；后者通过算子融合、算子替代、模型压缩、布局调整等方式对图进行基本的优化操作。

On-device Inference由三部分组成，分别是：Pre-inference、算子级优化和Backend Abstraction。在Pre-inference模块中引入了一种对可选计算方案的代价评估机理，在已知输入大小和内核形状的前提下，从多种方案中选择一种最优的方案；算子级优化主要包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、手写汇编、多线程优化、内存复用等；Backend Abstraction主要是提供了一套统一的接口来隐藏后端的差异，支持多种硬件架构，支持OpenCL，OpenGL，Vulkan和Metal等，可以方便地进行扩展，比如TPU、FPGA等。