EMO：重新思考高效的基于注意力的移动块模型

AI浩

已于 2023-08-01 07:03:59 修改

阅读量3.9k

点赞数

分类专栏：高质量人类CV论文翻译文章标签：深度学习人工智能 pytorch 计算机视觉分类

于 2023-07-29 21:11:33 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/131992979

版权

高质量人类CV论文翻译专栏收录该内容

129 篇文章 ¥79.90 ¥99.00

订阅专栏

本文提出了一种名为EMO的新型高效模型，它基于元移动块(MMB)重新思考了基于注意力的移动块设计。通过引入倒置残差移动块(iRMB)，EMO在保持轻量级的同时，融合了深度卷积和注意力机制，从而在图像分类、物体检测和语义分割等任务上展现出优于现有SOTA模型的性能。EMO在保持较低参数和FLOPs的同时，实现了与更复杂模型相当甚至更好的精度，展示了其在移动设备上的优越效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

论文链接：https://arxiv.org/pdf/2301.01146.pdf
本文的重点是在权衡参数、FLOPs和性能的同时，为密集预测开发现代、高效、轻量级的模型。倒立残差块(IRB)是轻量级CNN的基础结构，但在基于注意力的研究中还没有相应的基础结构。本文从高效IRB和Transformer的有效组件的统一角度重新思考轻量级基础架构，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残留元移动块(MMB)。根据简单而有效的设计准则，我们推导出了一种现代的反向残差移动块(iRMB)，并构建了一个只有iRMB的类ResNet高效模型(EMO)用于下游任务。在ImageNet-1K, COCO2017和ADE20K基准测试上的大量实验证明了我们的EMO优于SOTA的方法，例如，EMO- 1m /2M/5M达到71.5,75.1和78.4 Top-1，超过了等阶CNN /基于注意力的模型，同时很好地权衡了参数，效率和精度：运行速度比iPhone14上的EdgeNeXt快2.8-4.0倍。代码是可用的。

在这里插入图片描述