Rethinking Mobile Block for Efficient Attention-based Models【即插即用】

Rethinking Mobile Block for Efficient Attention-based Models(即插即用)

Rethinking Mobile Block for Efficient Attention-based Models(重新思考高效的基于注意力的移动块模型)

2023 IEEE/CVF International Conference on Computer Vision (ICCV)

code:https://github.com/zhangzjn/EMO

paper:https://arxiv.org/pdf/2301.01146.pdf

摘要

本文的重点是在权衡参数、FLOPs和性能的同时，为密集预测开发现代、高效、轻量级的模型。倒立残差块(IRB)是轻量级cnn的基础结构，但在基于注意力的研究中还没有相应的基础结构。本文从高效IRB和Transformer的有效组件的统一角度重新思考轻量级基础架构，将基于cnn的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残留元移动块(MMB)。根据简单而有效的设计准则，我们推导出了一种现代的反向残差移动块(iRMB)，并构建了一个只有iRMB的类resnet高效模型(EMO)用于下游任务。在ImageNet-1K, COCO2017和ADE20K基准测试上的大量实验证明了我们的EMO优于最先进的方法，例如，EMO- 1m /2M/5M达到71.5,75.1和78.4 Top-1，超过了等阶CNN /基于注意力的模型，同时很好地权衡了参数，效率和精度:运行速度比iPhone14上的EdgeNeXt快2.8-4.0倍。

方法

结论

本工作从高效IRB和Transformer的有效组件的统一角度重新思考轻量级基础设施，并提出了用于设计高效模型的Meta Mobile Block的概念。详细地说，我们推导了一个现代的基础iRMB，并构建了一个轻量级的基于注意力的EMO，只有iRMB用于下游任务。

在多个数据集上进行的大量实验证明了我们方法的优越性。此外，我们还对我们的方法进行了详细的研究，并给出了一些基于注意力的轻量级模型的实验结果。希望我们的研究能启发研究者设计出更节能的模型，并做出有趣的应用。

究者设计出更节能的模型，并做出有趣的应用。

更复杂的算子可能会潜在地提高模型的有效性，如转位通道注意[1]、多尺度Res2Net[14]、高效的Performer[7]等，这些算子需要进一步进行深入的尝试和实验，以探索有效模型结构的上限。此外，更高分辨率的输入，结合神经结构搜索(NAS)，从重模型中提取，在更大的ImageNet-21K数据集上训练，以及更强的训练增强/策略[49,47,28]，将进一步提高模型的性能。由于目前的计算能力所限，我们将把以上的尝试留在以后的工作中。