当可变形注意力机制引入Vision Transformer

【GiantPandaCV导语】通过在Transformer基础上引入Deformable CNN中的可变性能力，在降低模型参数量的同时提升获取大感受野的能力，文内附代码解读。

引言

Transformer由于其更大的感受野能够让其拥有更强的模型表征能力，性能上超越了很多CNN的模型。

然而单纯增大感受野也会带来其他问题，比如说ViT中大量使用密集的注意力，会导致需要额外的内存和计算代价，特征很容易被无关的部分所影响。

而PVT或者Swin Transformer中使用的sparse attention是数据不可知的，会影响模型对长距离依赖的建模能力。

由此引入主角：Deformabel Attention Transformer的两个特点：

• data-dependent: key和value对的位置上是依赖于数据的。
• 结合Deformable 方式能够有效降低计算代价，提升计算效率。

下图展示了motivation:

图中比较了几种方法的感受野，其中红色星星和蓝色星星表示的是不同的query。而实线包裹起来的目标则是对应的query参与处理的区域。

(a) ViT对所有的query都一样，由于使用的是全局的注意力，所以感受野覆盖全图。

(b) Swin Transformer中则使用了基于window划分的注意力。不同query处理的位置是在一个window内部完成的。

© DCN使用的是3x3卷积核基础上增加一个偏移量，9个位置都学习到偏差。

(d) DAT是本文提出的方法，由于结合ViT和DCN，所有query的响应区域是相同的，但同时这些区域也学习了偏移量。

方法

先回忆一下Deformable Convolution：

简单来讲是使用了额外的一个分支回归offset，然后将其加载到坐标之上得到合适的目标。

在回忆一下ViT中的Multi-head Self-attention:

q = x W q , k = x W k , v = x W v , z ( m ) = σ ( q ( m ) k ( m ) ⊤ / d ) v ( m ) , m = 1 , … , M , z =  Concat  ( z ( 1 ) , … , z ( M ) ) W o , z l ′ = MHSA ⁡ ( LN ⁡ ( z l − 1 )