YOLOv11改进 | 注意力篇 | YOLOv11引入BiFormer注意力机制

1. BiFormer介绍

1.1  摘要： 作为视觉变换器的核心构建块，注意力是捕获远程依赖性的强大工具。 然而，这种能力是有代价的：当计算所有空间位置上的成对令牌交互时，它会带来巨大的计算负担和沉重的内存占用。 一系列工作试图通过将手工制作的和内容无关的稀疏性引入注意力来缓解这个问题，例如将注意力操作限制在局部窗口、轴向条纹或扩张窗口内。 与这些方法相反，我们通过双层路由提出了一种新颖的动态稀疏注意力，以实现具有内容感知的更灵活的计算分配。 具体来说，对于查询，首先在粗略区域级别过滤掉不相关的键值对，然后在剩余候选区域（即路由区域）的联合中应用细粒度的令牌到令牌注意。 我们提供了所提出的双层路由注意力的简单而有效的实现，它利用稀疏性来节省计算和内存，同时仅涉及 GPU 友好的密集矩阵乘法。 利用所提出的双层路由注意力构建，提出了一种新的通用视觉变换器，名为 BiFormer。 由于 BiFormer 以查询自适应方式处理一小部分相关标记，而不会分散其他不相关标记的注意力，因此它具有良好的性能和高计算效率，特别是在密集的预测任务中。 图像分类、对象检测和语义分割等多个计算机视觉任务的实证结果验证了我们设计的有效性。