[ACM MM 2022] SIM-Trans: Structure Information Modeling Transformer for FGVC

Introduction

• In this paper, we propose the structure information modeling transformer (SIM-Trans) that introduces the object structure information into vision transformer for boosting the discriminative feature learning to contain both the appearance and structure information.
• 同时作者也指出了在 FGVC 任务上，ViT 相比 CNN 的优势：“the stacked convolution and pooling operations bring both the expansion of the receptive field and the degradation of spatial discrimination. Large continuous image areas are focused on and discriminative details are generally overlooked, which are essential for distinguishing subtle difference in fine-grained visual categorization.”

Approach

Multi-level Feature Boosting

• 由于输入图像分块时的 non-overlapping splitting 会导致 incomplete neighboring information，因此作者采用 sliding window splitting method (He, Shuting, et al.) 对输入图像进行分块，patch 数量 $N$ 为
  其中 $H,W$ 为图像高宽，$S$ 为 window’s sliding step，$P$ 为 patch size
• 最后 3 个 transformer layers 的 [CLS] token 输出 concat 后得到 image representation，送入 FC 分类头得到最终的预测结果

Structure Information Learning

• 作者提出 structure information learning (SIL) module，它将 $N$ 个 patch 建模为 $N$ 个结点的图，使用 GCN 将物体空间上下文信息引入 ViT
• (1) 图的结点特征. 首先，作者利用不同 patch token 和 [CLS] token 之间的 attention weight 定位物体位置。假设为 $H$ 头自注意力层，则 total attention weights 为
  其中 $At{t}_h^{cls}$ 为 $h$-th head 中各个 patch token 和 [CLS] token 的 attention weights. 因此 $A\in {\mathbb{R}}^N$ 就代表了 $N$ 个 patch token 与 [CLS] token 的相关程度，相关程度越高，则该 patch 内含有物体的可能性就越高。其中 attention weight 最大的 patch 为 reference patch，最终使用的 GCN 输出特征即为 reference patch 对应的结点特征. 受 Zhou, Mohan, et al. 启发，作者使用 patch 到 reference patch 的极坐标作为 patch 的结点特征 $X$
  其中，$(x_0,y_0)$ 为 reference patch 在 $N_H\times N_W$ 的分块图像上的坐标，$(x,y)$ 为 patch 在分块图像上的坐标，$\arctan 2(\cdot )$ 返回 $(-\pi ,\pi ]$ 范围内的极坐标角度信息
• (2) 图的边权. 可以计算出 total attention weights 的均值 $\bar{A}$，然后过滤掉 attention weight 小于均值的背景 patch，新的 total attention weights $A^{new}$ 为
  $$A_i^{new}=\{\begin{array}{cc}{A}_i& \text{ if }{A}_i>\bar{A}\\ 0& \text{ otherwise }\end{array}$$图的边权为
  $$Adj=A^{new}(A^{new}{)}^T\in {\mathbb{R}}^{N\times N}$$由于最终使用的 GCN 输出特征即为 reference patch 对应的结点特征，因此在特征聚合时实际上只用到了 attention weight 超过均值的 patch 结点特征
• (3) GCN. The structure features $S$ are obtained by two-layer graph convolution
  其中 $\sigma$ 为激活函数。reference patch node 的输出特征即为 object structure feature，它被直接加在 [CLS] token 的输出特征上. Through the end-to-end training, the composition of the object can be modeled and the significant image patch can be highlighted, which improves the model’s classification performance.

Contrastive Loss

• 作者还进一步引入了对比学习提高模型的表征能力，在最后一层的 [CLS] token 上用了对比学习
  其中，$(z_i,z_j^{+})$ 为属于同一类别的正样本对，$(z_i,z_j^{-})$ 为负样本对，${\Gamma }_{y_i=y_j,i\ne j}$ 为正样本对个数，$sim(\cdot )$ 为余弦相似度，$N$ 为 batch size，$Indicato{r}_{i,j}$ 用于难负样本挖掘，负责过滤掉相似度比正样本对平均相似度低 $\alpha$ 的负样本，作者在实验中设置 $\alpha =0.3$

Experiments

CUB-200-2011

---

iNaturalist 2017

---

Ablation Study

References

• Sun, Hongbo, Xiangteng He, and Yuxin Peng. “Sim-trans: Structure information modeling transformer for fine-grained visual categorization.” Proceedings of the 30th ACM International Conference on Multimedia. 2022.
• code: https://github.com/PKU-ICST-MIPL/SIM-Trans_ACMMM2022