YOLO已经悄悄来到v12，首个以Attention为核心的YOLO框架问世

YOLO 系列模型的结构创新一直围绕 CNN 展开，而让 transformer 具有统治优势的 attention 机制一直不是 YOLO 系列网络结构改进的重点。这主要的原因是 attention 机制的速度无法满足 YOLO 实时性的要求。本周三放出的 YOLOv12 着力改变这一现状并取得具有优势的性能。

需要论文代码的同学评论【我想要】或者私信我免费领取，希望能帮助到大家！

介绍

造成 attention（注意力机制）不能作为核心模块用于 yolo 框架的主要原因在于其本身的低效性，这主要源于两个因素：（1）attention 的计算复杂度呈二次增长；（2）attention 的内存访问操作低效（后者是 FlashAttention 主要解决的问题）。在相同的计算预算下，基于 CNN 的架构比基于 attention 的架构快约 2-3 倍，这极大限制了 attention 在 YOLO 系统中的应用，由于 YOLO 体系高度依赖高推理速度。

首先，作者提出了一种简单而高效的区域注意力模块（area attention, A2），该模块在保持大感受野的同时，以最简单直接的方式降低了 attention 的计算复杂度，从而提升了计算速度。

其次，作者引入了残差高效层聚合网络（R-ELAN），以解决 attention（主要是大规模模型）带来的优化难题。

R-ELAN 在原始的基础上进行了两项改进：1）block 级残差设计，结合缩放技术以优化梯度流动；2）重新设计的特征聚合方法，以提升模型的优化效率。

最后，作者针对 YOLO 体系对 attention 进行了一系列架构改进，优化了传统的 attention 主导架构，包括：1）引入 FlashAttention 以解决注意力机制的显存访问问题；2）移除位置编码等设计，使模型更加高效简洁；3）调整 MLP ratio（从 4 降至 1.2），以平衡注意力机制和前馈网络的计算开销，从而提升整体性能；4）减少堆叠块的深度，以简化优化过程等。