论文地址:https://arxiv.org/abs/2301.01146
代码地址:https://github.com/zhangzjn/EMO
本论文着重于开发现代、高效、轻量级的模型,用于进行密集预测,同时在参数、FLOPs和性能之间进行权衡。倒置残差块(IRB)作为轻量级CNN的基础设施,但在基于注意力的研究中尚未找到对应的部分。本研究从高效的IRB和Transformer的有效组件的统一视角重新思考轻量级基础设施,将基于CNN的IRB扩展到基于注意力的模型,并抽象出一种残差元移动块(MMB)用于轻量级模型设计。遵循简单但有效的设计标准,我们推导出一种现代的倒置残差移动块(iRMB),并构建了一个仅使用iRMB的类似ResNet的高效模型(EMO)用于下游任务。在ImageNet-1K、COCO2017和ADE20K基准上的大量实验显示了我们的EMO相对于最先进的方法的卓越性能,例如EMO-1M/2M/5M达到了71.5、75.1和78.4的Top-1准确率,超过了同等级别的CNN-/基于注意