论文地址:https://arxiv.org/abs/2110.01240
代码暂时未开源
好的文章推荐:https://zhuanlan.zhihu.com/p/645259799
好的文章推荐:https://zhuanlan.zhihu.com/p/418830088?utm_id=0
好的文章推荐:https://www.52cv.net/?p=8453
该论文2022发布在ICASSP上。
前言
建议先看一下,VIT
,Trans-FG
,RAMS-Trans
由上图观察到了ViT各层产生的注意力权重,其对于最终模型分类的贡献是不相等的。 所以如果能对层间的权重进一步引入注意力机制来学习,最终分类应该就能取得更好的结果。据此,作者设计了新的层间注意力机制,来进一步提升模型分类表现。
TransFG存在的问题:
- 当生成注意图以选取
token
时,TransFG不能完全使用所有Transformer层的注意。 - 着眼于全局损失的监管,缺乏多尺度、多分支的结合。