随着swin transformer成为best paper。transformer用于2d图像领域更加引起人们的广泛关注,划分框框的方法确实有些笨拙。我也看了一些相关的文章,不过有些文章没有开源出代码来。
记录一下:
Vision Transformer with Deformable Attention
论文连接:https://arxiv.org/abs/2201.00520v1
已开源 放心使用 用deformable conv的方法来做transformer不稀奇,之前过def transformer的方法,文章也指出这种方法智能选择四个临近点来降低计算cost 这是不够的,所以文章选用了下采样的reference points。是在swin上做的改进!