【YOLOv8改进-注意力机制】BRA(bi-level routing attention ):双层路由注意力(论文笔记+引入代码)

YOLO大师

已于 2024-06-29 09:29:37 修改

阅读量1.3k

点赞数 18

分类专栏： YOLOV8基础解析+创新改进+实战案例文章标签： YOLO 论文阅读目标检测

于 2024-05-29 22:42:29 首次发布

原创文章，禁止任何形式转载！

本文链接：https://blog.csdn.net/shangyanaf/article/details/139307690

版权

YOLOV8基础解析+创新改进+实战案例专栏收录该内容

138 篇文章 143 订阅 ¥89.90 ¥99.00

订阅专栏

本文介绍了BRA（双层路由注意力）机制，一种用于YOLOv8的动态稀疏注意力方法，旨在提高目标检测的效率和性能。通过在粗粒度和细粒度上过滤无关键值对，BRA减少了计算和内存需求。文中提供了BRA的基本原理、代码引入和实验结果。

摘要由CSDN通过智能技术生成

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录包含卷积，主干注意力，检测头等创新机制以及各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

作为视觉Transformers的核心构建模块，注意力机制是一种强大的工具，用于捕捉长程依赖关系。然而，这种强大功能也带来了代价：计算代价巨大且内存占用高，因为需要计算所有空间位置上成对的token交互。为缓解这一问题，一系列研究尝试通过引入手工设计且内容无关的稀疏性来改进注意力机制，例如将注意力操作限制在局部窗口、轴向条带或膨胀窗口内。与这些方法不同，我们提出了一种新颖的动态稀疏注意力机制，通过双层路由实现更加灵活且具有内容感知的计算分配。具体而言，对于一个查询，首先在粗略的区域级别过滤掉无关的键值对，然后在剩余候选区域（即路由区域）的联合中应用细粒度的token-to-token注意力。我们提供了一个简单而有效的双层路由注意力的实现，该实现利用稀疏性来节省计算和内存，同时仅涉及GPU友好的稠密矩阵乘法。基于所提出的双层路由注意力，我们提出了一种新的通用视觉Transformer，命名为BiFormer。BiFormer在查询自适应的方式下关注一小部分相关token，而不受其他无关token的干扰，因而在密集预测任务中享有良好的性能和高计算效率。在图像分类、目标检测和语义分割等多个计算机视觉任务中的实验证明了我们设计的有效性。代码可在https://github.com/rayleizhu/BiFormer获得。