RT-DETR改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA，轻量化注意力模块 提高模型效率

一、本文介绍

本文记录的是基于Mobile MQA模块的RT-DETR目标检测改进方法研究。MobileNetv4中的Mobile MQA模块是用于模型加速，减少内存访问的模块，相比其他全局的自注意力，其不仅加强了模型对全局信息的关注，同时也显著提高了模型效率。

---

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

---

二、Mobile MQA注意力原理

在论文《MobileNetV4 - Universal Models for the Mobile Ecosystem》中，提出了Mobile MQA。

一、原理

1. 基于MQA改进并结合不对称空间下采样：
   • MQA（Multi-Query Attention）简化了传统的多头注意力机制，通过共享keys和values来减少内存访问需求。在移动混合模型中，当批量大小较小时，这种方式能有效提高运算强度。
   • 借鉴MQA中对queries、keys和values的不对称计算方式，Mobile MQA引入了空间缩减注意力（SRA），对keys和values进行下采样，同时保持高分辨率的queries。这是因为在混合模型中，早期层的空间混合卷积滤波器使得空间上相邻的标记具有相关性。
   • Mobile MQA的计算公式为：
     M o b i l e _ M Q A ( X )