[NIPS 18] Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning

用于细粒度零样本学习的堆叠语义引导注意力模型
Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning

本文亮点：使用过类别语义引导视觉特征，加权不同局部特征。

---

Abstract: Zero-Shot Learning (ZSL) is achieved via aligning the semantic relationships between the global image feature vector and the corresponding class semantic descriptions. However, using the global features to represent fine-grained images may lead to sub-optimal results since they neglect the discriminative differences of local regions. Besides, different regions contain distinct discriminative information. The important regions should contribute more to the prediction. To this end, we propose a novel stacked semantics-guided attention (S2GA) model to obtain semantic relevant features by using individual class semantic features to progressively guide the visual features to generate an attention map for weighting the importance of different local regions. Feeding both the integrated visual features and the class semantic features into a multi-class classification architecture, the proposed framework can be trained end-to-end. Extensive experimental results on CUB and NABird datasets show that the proposed approach has a consistent improvement on both fine-grained zero-shot classification and retrieval tasks.

零样本学习是通过对齐图像全局特征向量和对应的类别语义描述之间的语义关系实现的。然而，使用全局特征来表示细粒度图像可能会导致次优结果，因为这种表示忽略了局部区域的判别性差异。另外，不同区域包含了不同的判别性信息。重要的区域对预测结果贡献更大。为此，我们提出了一种新颖的堆叠语义引导注意力（$S^{2}GA$）模型，通过使用单独的类别语义特征来逐步引导视觉特征以生成用于加权不同局部区域的重要性的注意力图来获得语义相关特征。将集成的视觉特征和类语义特征输入到多类分类架构中，可以对提出的框架进行端到端的训练。在CUB和NABird数据集上的大量实验结果表明，所提出的方法在细粒度零样本分类和检索任务方面都有一致的改进。

亮点：使用加权局部特征来执行ZSL任务

---

问题

细粒度零样问题。

如图1所示，全局特征仅捕获一些整体信息，相反，区域特征捕获与类别语义描述相关的更多局部信息。

Motivation：当试图识别未见类别的图像时，人们更多关注基于关键类别语义描述的信息区域。此外，人类通过排除不相关的视觉区域并以渐进的方式定位最相关的视觉区域来实现语义对齐。

零样本问题中，模型是如何学习已知类和未知类的关系的？
答：通过学习一个好的视觉语义映射。因为已知类和未知类共享属性空间，所以一个好的视觉语义映射，可以让在已知类上训练的模型，很好的泛化到未知类。【这个回答很牵强，没有说出模型如何学习语义偏置的。】

---

方法

多层注意力机制

创新点：间接学习注意力图，通过类语义描述引导加权不同区域。

语义描述是怎么嵌入网络的？？？

f - 局部嵌入网络
输入：局部特征$V_I$
输出：?
g - 语义引导网络
输入：融合局部特征（全局）$V_G$ + 类别语义向量$c$
输出：?

Fusion是什么操作？

从公式1看，fusion也是按像素乘的操作。

$$h_A=tanh(f(V_I)$$