【YOLOv8改进】DAT（Deformable Attention）：可变性注意力 (论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

Transformers最近在各种视觉任务中展现出了优越的性能。较大甚至是全局的感受野赋予了Transformer模型比其卷积神经网络（CNN）对手更强的表征能力。然而，简单地扩大感受野也带来了几个问题。一方面，使用密集注意力（例如在ViT中）会导致过高的内存和计算成本，并且特征可能会受到兴趣区域之外的无关部分的影响。另一方面，PVT或Swin Transformer采用的稀疏注意力对数据不敏感，可能限制了建模长距离关系的能力。为了解决这些问题，我们提出了一种新型的可变形自注意力模块，其中在自注意力中键和值对的位置是以数据为基础选择的。这种灵活的方案使自注意力模块能够聚焦于相关区域并捕捉更多信息特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的通用主干模型，具有可变形注意力。广泛的实验表明，我们的模型在综合基准测试中实现了持续改进的结果。代码可在https://github.com/LeapLabTHU/DAT获取。

文章链接

论文地址：论文地址

代码地址：代码地址

参考代码：代码地址

基本原理

关键

1. 数据依赖的位置选择：Deformable Attention允许在自注意力机制中以数据依赖的方式选择键和值对的位置，使模型能够根据输入数据动态调整注意力的焦点。
2. 灵活的偏移学习：通过学习偏移量，Deformable Attention可以将关键点和值移动到重要区域，从而提高模型对关键特征的捕获能力。
3. 全局键共享：Deformable Attention学习一组全局键，这些键在不同的视觉标记之间共享，有助于模型捕获长距离的相关性。
4. 空间自适应机制：Deformable Attention可以根据输入数据的特征动态调整注意力模式，从而适应不同的视觉任务和场景。

通过相对于Swin-Transformer和PVT的改进，加入了可变形机制，同时控制网络不增加太多的计算量。作者认为，缩小q对应的k的范围ÿ