YOLOv11 改进 - 注意力机制 | 轴向注意力Axial Attention（Axial Attention）优化高分辨率特征提取

前言

本文介绍了轴向注意力（Axial Attention）机制在YOLOv11中的结合应用。Axial Attention是针对高维数据张量的自注意力机制，通过对张量单个轴进行注意力计算，减少计算复杂度和内存需求，且堆叠多层可实现全局感受野。它具有计算效率高、易于实现、表达能力强等优势，适用于图像和视频处理。我们将基于Axial Attention的Axial Image Transformer集成到YOLOv11的检测头中，并进行相关注册和配置。实验表明，改进后的模型在基准测试中取得了先进的结果。

文章目录： YOLOv11改进大全：卷积层、轻量化、注意力机制、损失函数、Backbone、SPPF、Neck、检测头全方位优化汇总

专栏链接: YOLOv11改进专栏

介绍

摘要

我们提出了 Axial Transformers，这是一种基于自注意力机制的自回归模型，适用于图像及其他以高维张量形式呈现的数据。现有的自回归模型在处理高维数据时，通常面临两难困境：要么需要消耗过多的计算资源，要么在降低资源需求的同时，不得不牺牲分布表达能力或实现的简便性。相比之下，我们所提出的架构不仅完整保留了对数据联合分布的表达能力，还能借助标准深度学习框架轻松实现，同时在内存和计算需求方面保持合理水平，并在标准生成建模基准测试中取得了当前最先进的成果。我们的模型以 轴向注意力（Axial Attention） 为基础，这是一种对自注意力的简单泛化设计，能自然地与张量在编码和解码过程中的多维结构相契合。值得强调的是，所提出的层结构允许在解码时以并行方式计算绝大多数上下文信息，且无需引入任何独立性假设。这种半并行结构显著提升了 Axial Transformer 在大规模模型场景下的解码适用性。我们展示了 Axial Transformer 在 ImageNet - 32 和 ImageNet - 64 图像基准以及 BAIR Robotic Pushing 视频基准上的最先进性能。此外，我们已将 Axial Transformers 的实现代码开源。