YOLOv11改进 | 注意力篇 | YOLOv11引入DualAttention注意力

1. DualAttention介绍

1.1  摘要：先前的工作提出了几种策略来降低自注意力机制的计算成本。 其中许多工作考虑将自注意力过程分解为区域和局部特征提取过程，每个过程都会产生更小的计算复杂度。 然而，区域信息通常只能以因下采样而丢失的不需要的信息为代价来获得。 在本文中，我们提出了一种旨在缓解成本问题的新型 Transformer 架构，称为 Dual Vision Transformer (Dual-ViT)。 新架构采用了关键语义路径，可以更有效地将令牌向量压缩为全局语义，并降低复杂性。 然后，通过另一个构建的像素路径，这种压缩的全局语义可以作为学习更精细的像素级细节的有用先验信息。 然后将语义路径和像素路径集成在一起并联合训练，通过这两条路径并行传播增强的自注意力信息。 从此，Dual-ViT 能够在不影响太多精度的情况下降低计算复杂性。 我们凭经验证明，Dual-ViT 提供了比 SOTA Transformer 架构更高的准确性，同时降低了训练复杂性。

官方论文地址：