YOLOv10改进 | 注意力篇 | YOLOv10引入Deformable Attention Transformer(DAT)注意力机制

1. Deformable Attention Transformer介绍

1.1  摘要：Transformers 最近在各种视觉任务中表现出了卓越的性能。 较大的、有时甚至是全局的感受野赋予 Transformer 模型比 CNN 模型更高的表示能力。 然而，简单地扩大感受野也会引起一些担忧。 一方面，使用密集注意力（例如在 ViT 中）会导致过多的内存和计算成本，并且特征可能会受到超出感兴趣区域的不相关部分的影响。 另一方面，PVT 或 Swin Transformer 中采用的稀疏注意力与数据无关，可能会限制对远程关系进行建模的能力。 为了缓解这些问题，我们提出了一种新颖的可变形自注意力模块，其中自注意力中键和值对的位置以数据依赖的方式选择。 这种灵活的方案使自注意力模块能够专注于相关区域并捕获更多信息特征。 在此基础上，我们提出了可变形注意力变换器（Deformable Attention Transformer），这是一种通用骨干模型，具有可变形注意力，适用于图像分类和密集预测任务。 大量实验表明，我们的模型在综合基准上取得了持续改进的结果。

官方论文地址：https://arxiv.org/pdf/2201.00520

官方代码地址：