ResNet与注意力机制完美结合！11个创新方案让模型性能倍增

残差网络（ResNet）结合注意力机制可以在保持网络深度的同时，提高模型对任务相关特征的识别和利用能力，以及对关键信息的捕捉能力。

具体来说，结合的方式通常是在ResNet的基础上添加注意力模块。这些模块（自注意力机制/通道注意力机制）通过对特征图进行分析，为不同的特征或特征通道分配不同的权重，从而突出重要的信息并抑制不重要的信息。

这种结合策略不仅能够提高模型的性能，还能让模型更加专注于数据的关键部分，从而提高模型的解释性和泛化能力。因此，ResNet结合注意力机制已经成为深度学习领域的一个研究热点。

本文整理了11种ResNet+注意力机制创新方案，每种方案可参考的方法以及创新点我也做了简单介绍，希望能给各位的论文添砖加瓦。

论文原文以及开源代码需要的同学看文末

RMT

RMT: Retentive Networks Meet Vision Transformers

方法：论文提出一种新的视觉骨干网络(RMT)，该网络通过引入显式的空间先验和注意力分解形式来改进自注意机制的性能。作者还引入了本地上下文增强模块，进一步提升了MaSA的局部表达能力。

创新点：

• 将Ret