Fine-grained Detection —— TransFG(2022.02.23)
文章:TransFG: A Transformer Architecture for Fine-grained Recognition
原文.
简称TransFG,包含2个部分:
- 选择模块PSM(Part Selection Module)
- 对比学习器CFL(Contrastive Feature Learning)
1. Part Selection Module
PSM目的是筛选出关键感兴趣区域,并给出相应的特征向量。
原图划分成子图(patch),利用NLP思想,形成“句子”作为输入。经过Transformer Encoder,形成“句子”的特征向量A。
将这部分特征向量A,乘上之前所有layers的权重,得到最终的特征向量B。设置一个阈值,筛选出B中的关键段。这些关键段就是PSM的输出,也就是关键感兴趣区域的特征向量段。
2. Contrastive Feature Learning
CFL目的是计算细粒度目标之间的相似度。
PSM的输出作为CFL的输入,再经过一层Transformer Layer,汇众得到用于计算loss的特征向量。Contrastive loss度量方式是余弦相似度。
3. My Thinking
3.1. PSM部分
- 这不就是热力图的做法嘛,只不过把backbone换成了当下最受关注的transformer。
3.2. CFL部分
- 做法是对的,只不过Loss计算没做任何优化。可以继续优化。
4. My Summary
PSM给出关键感兴趣局部的特征向量。
CFL迫使backbone增强细粒度目标特征的异同层度。