文章目录
一:创新点
这篇论文也是效仿的Deformable transformer中改进思想,对于k的选取进行了特定选取。
Deformable transformer中提出了deformable-attention模块来选取reference_point附近的几个位置key,然后进行特征融合。
这篇论文则是提出了box-attention模块来特征融合,首先每一个query设置一个ref_windows,源码中是2✖2大小,学习调整这个框的offset,然后融合特定位置上的value,更新query。
decoder中两篇论文的思路也是一样的,都是先通过nn.MultiAttention()完成self-attention,然后通过他们提出的box-attention(deformable-attention)来交叉更新dec_query。
详细可以参考本人写的Deformable DETR源码讲解 ,核心思路都是一样的。