YOLOv9改进系列，YOLOv9添加iRMB注意力机制(反向残差注意力)，实现轻量化

---

原论文摘要

本文集中于开发用于密集预测的现代、高效、轻量级模型，同时在参数、FLOPs和性能之间进行权衡。反向残差块（IRB）是轻量级CNN的基础结构，但在基于注意力的研究中没有得到相应的重视。本文从统一的角度重新思考了轻量级基础结构，结合了高效的IRB和Transformer的有效组件，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残差Meta Mobile Block（MMB）。遵循简单但有效的设计原则，我们推导出一个现代化的反向残差移动块（iRMB），并构建了一个仅使用iRMB的类似ResNet的高效模型（EMO）用于下游任务。

iRMB介绍

iRMB重新参考MobileNetv2中的反向残差块，并结合Transformer中的核心MHSA和FFN模块，归纳出一个通用的Meta Mobile Block（MMB），该模块采用参数化参数扩展比λ和高效操作符F来实例化不同的模块。MMB可以揭示上述三个模块的一致本质表达，并且MMB可以被视为改进的轻量级Transformer集中体，EMO只包含一个推导出的iRMB，吸收了轻量级CNN和Transformer的优势。以尽量少的核心模块，以减少模型复杂性并加速部署，达到轻量化效果。如下图左侧所示，通过对 MobileNetv2 中的 IRB 以及 Transformer 中的核心 MHSA 和 FFN 模块进行抽象，作者提出了统一的 MMB 对上述几个结构进行归纳表示，即采用扩张率λ和高效算子F来实例化不同的模块。

主要方法如下：
1.提出了设计高效EMO模型的标准，如可用性、统一性、有效性和效率。
2.元移动模块 (Meta Mobile Block, MMB)：提出了一个通用的元移动模块（MMB），该模块可以统一地抽象出IRB、MHSA（多头自注意力）和FFN（前馈神经网络）的核心结构。
3.反转残差移动模块 (Inverted Residual Mobile Block, iRMB)：在元移动模块的基础上，提出了一种现代的反转残差移动模块（iRMB），并基于此构建了一个ResNet样式的高效模型（EMO）。

iRMB理论详解可以参考链接：论文地址
iRMB代码可在这个链接找到：代码地址

本文在YOLOv9中引入iRMB(反向残差注意力)，代码已经整理好了，跟着文章复制粘贴，即可直接运行