【YOLOv8改进-注意力机制】BRA(bi-level routing attention ):双层路由注意力(论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

作为视觉Transformers的核心构建模块，注意力机制是一种强大的工具，用于捕捉长程依赖关系。然而，这种强大功能也带来了代价：计算代价巨大且内存占用高，因为需要计算所有空间位置上成对的token交互。为缓解这一问题，一系列研究尝试通过引入手工设计且内容无关的稀疏性来改进注意力机制，例如将注意力操作限制在局部窗口、轴向条带或膨胀窗口内。与这些方法不同，我们提出了一种新颖的动态稀疏注意力机制，通过双层路由实现更加灵活且具有内容感知的计算分配。具体而言，对于一个查询，首先在粗略的区域级别过滤掉无关的键值对，然后在剩余候选区域（即路由区域）的联合中应用细粒度的token-to-token注意力。我们提供了一个简单而有效的双层路由注意力的实现，该实现利用稀疏性来节省计算和内存，同时仅涉及GPU友好的稠密矩阵乘法。基于所提出的双层路由注意力，我们提出了一种新的通用视觉Transformer，命名为BiFormer。BiFormer在查询自适应的方式下关注一小部分相关token，而不受其他无关token的干扰，因而在密集预测任务中享有良好的性能和高计算效率。在图像分类、目标检测和语义分割等多个计算机视觉任务中的实验证明了我们设计的有效性。代码可在https://github.com/rayleizhu/BiFormer获得。

文章链接

论文地址：论文地址

代码地址：代码地址

参考代码：代码地址

基本原理

Bi-Level Routing Attention (BRA)是一种注意力机制，旨在解决多头自注意力机制（MHSA）的可扩展性问题。传统的注意力机制要求每个查询都要关注所有的键-值对，这在处理大规模数据时可能会导致计算和存储资源的浪费。BRA通过引入动态的、查询感知的稀疏注意力机制来解决这一问题。

BRA的关键思想是在粗粒度的区域级别上过滤出大部分不相关的键-值对，只保留少量的路由区域。然后，在这些路由区域的并集上应用细粒度的令牌-令牌注意力。这种方法使得每个查询只需关注少量相关的键-值对，从而提高了计算效率和内存利用率。

具体来说，BRA的实现包括以下步骤：