MNN开源项目荣获中国科协2021“年度优秀开源产品”

阿里巴巴淘系技术团队官网博客

于 2022-03-11 16:20:00 发布

阅读量510

点赞数

文章标签：算法人工智能大数据机器学习深度学习

原文链接：https://mp.weixin.qq.com/s?__biz=MzAxNDEwNjk5OQ==&mid=2650455005&idx=1&sn=f6e4a3dee4e0f041243f62e0235cdddf&chksm=839673c5b4e1fad3af05db10b7aa5e65377d5e6fe2e78bc405d74240847e5da84ded2130ae5f&scene=126&&sessionid=0

版权

阿里巴巴的MNN深度学习推理引擎在2022“科创中国”年度会议上被评为“年度优秀开源产品”。MNN是大淘宝技术团队开源的全平台轻量级高性能引擎，广泛应用于阿里巴巴的多个AI场景，并被多家企业采用。在过去一年，MNN在高性能、通用性及稀疏计算方面取得显著进步，加速了AI模型在端侧的部署。此外，阿里巴巴还推出了MNN工作台，为AI应用提供一站式训练和部署服务。

摘要由CSDN通过智能技术生成

在中国科协召开的2022“科创中国”年度会议上，阿里巴巴两个开源社区荣获“年度优秀开源机构”，五大开源项目荣获“年度优秀开源产品”。

日前，中国科协正式发布2021“科创中国”开源创新榜单，推选出50项年度优秀开源产品及相关机构。其中，由阿里巴巴大淘宝技术团队开源的MNN深度学习推理引擎与其他四个阿里自研开源项目一起荣获“年度优秀开源产品”。

2022“科创中国”年度会议上，中国工程院院士周济发布“科创中国”系列榜单

MNN是由大淘宝技术出品的全平台轻量级高性能深度学习引擎。它从2018年开始，历经4届双十一考验，广泛支持了阿里巴巴在CV、ASR、NLP等领域的70+个AI应用场景，包含淘宝搜索推荐、拍立淘、淘宝直播、AR导购等核心场景，日调用量达十亿量级。MNN一直是推理引擎行业标杆，其架构论文发表于2020 SysML。MNN也普遍获得业界友商的认可，包含陌陌、美团、得物等至少数十家企业在使用。

在过去的一年，MNN一直在高性能、通用性方面沉淀扎实的推理引擎技术：

首先，在X86 CPU上，通过增加卷积调度参数、结合X86硬件特性汇编实现等优化手段，在常用模型如ResNet上，提速350+% (1Batch) 、70+% (16Batch)。在微观矩阵乘microkernel层面，其性能已达到计算峰值的98%以上！

其次，我们投资于ARM、X86平台稀疏计算，模型优化与引擎加速相结合，0.75稀疏度的CV模型在ARM平台加速比2.1 ~ 2.3 倍， x86平台加速比1.66 ~ 1.72倍。在淘宝实际业务的应用中，我们发现稀疏计算结合模型量化，可对模型进行极限压缩，满足端侧环境对于模型体积、内存占用、CPU占用的严格约束。

最后，基于MNN核心的张量计算库，我们低成本高效率地实现了OpenCV / Numpy功能，它有极简的包大小、原生OpenCV / Numpy库的使用体验、大幅的性能提升，进一步缩短了AI算法部署到端侧的「最后一公里」。

后续我们会陆续放出MNN在以上方向的技术干货，敬请大家期待！

在过去的一年，AI整体行业也经历了飞速的发展。算法上，主流任务模型日趋成熟，Transformer从NLP破圈进入CV，Vision Transformer 登顶 ImageNet；产业中，大量的AI、数据公司IPO，如Exscientia, Snowflake, UiPath, Confluent等，标志着AI开始迈向部署阶段。淘系端智能团队坚信，未来的AI部署将是端侧驱动、端云协同的。我们自主研发并对外开放了支持AI应用启蒙、无门槛训练和一键多端部署的一站式AI平台：MNN工作台，欢迎大家从MNN官网 (见文末二维码) 下载体验！