《BoxeR: Box-Attention for 2D and 3D Transformers》讲解

一：创新点

这篇论文也是效仿的Deformable transformer中改进思想，对于k的选取进行了特定选取。

Deformable transformer中提出了deformable-attention模块来选取reference_point附近的几个位置key，然后进行特征融合。

这篇论文则是提出了box-attention模块来特征融合，首先每一个query设置一个ref_windows，源码中是2✖2大小，学习调整这个框的offset，然后融合特定位置上的value，更新query。

decoder中两篇论文的思路也是一样的，都是先通过nn.MultiAttention()完成self-attention，然后通过他们提出的box-attention(deformable-attention)来交叉更新dec_query。

详细可以参考本人写的Deformable DETR源码讲解 ，核心思路都是一样的。