Feature Fusion Vision Transformer for Fine-Grained Visual Categorization【阅读笔记】

论文地址:https://www.bmvc2021-virtualconference.com/assets/papers/0685.pdf
代码地址:https://github.com/Markin-Wang/FFVT
好的文章:https://blog.csdn.net/weixin_46365033/article/details/128228199
好的文章:https://blog.csdn.net/weixin_42437114/article/details/129224723
好的文章:https://blog.csdn.net/zzc_zhuyu/article/details/119462030
该论文2021发布在BMVC上

先前的工作

大多数先前的研究都是通过明确选择判别部分或通过基于CNN的方法整合注意机制来实现这一目标的。

然而，这些方法增加了计算复杂度，使模型被包含最多目标的区域所主导。

近年来ViT,通过自关注机制将所有token的信息聚合并加权到class token上，使其非常适合FGVC。然而，深层的分类令牌更关注全局信息，缺乏FGVC所必需的局部和低级特征。

本文的创新：提出了一种新的纯基于Transformer的框架特征融合视觉变压器(FFVT)，在该框架中，我们聚合了来自每个变压器层的重要token，以补偿局部、低级和中级信息。我们设计了一种新的token选择模块，称为相互关注权重选择(MAWS)，以指导网络在不引入额外参数的情况下有效地选择具有区别性的令牌。

FFVT的作用:FFVT聚合来自低级、