精读FREE: Feature Refinement for Generalized Zero-Shot Learning

摘要 

        作者提出，目前的零样本学习(Generalized zero-shot learning, GZSL)方法，在特征提取问题上都是使用的在ImageNet数据集上预训练的各种模型，但由于没处理ImageNet和GZSL跨数据集之间的偏差(cross-dataset bias)，导致模型在应对zero-shot任务和处理未见过的类时提取的特征不佳。作者提出了特征改良模块(feature refinement, FR)，来改善一个本质为生成器的映射所提取出的特征。此外，本文还提出了一个全新的损失，名为自适应边缘中心损失(self-adaptive margin center loss, SAMC-loss)

        摘要这块说得有些模糊，个人理解就是让GAN，把两个不同分布的数据的特征映射到同一片空间的同时具有较好的区分度，但直接使用GAN最多只能让两种分布的数据尽可能相似，但达不到不同类之间特征距离够大的目的，因此又提出了FR模块。

方法

架构

        (a)展示了训练流程。在阶段一CNN部分就是ImageNet上预训练的特征提取模型，在提取出特征x后，将x输入到VAEGAN中，f-VAE由编码器VAE和既是解码器也是生成器的G组成，而f-WGAN则是由G和D组成，f-VAE和f-WGAN中的G是同一个。

        f-VAE会学习将语义映射到视觉（原文为f-VAEGAN aims to learn the semantic→visual mapping）得到生成特征。生成特征会和最初的特征x一起输入到判别器和FR。判别器通过WGAN损失让生成器生成的特征质量更高，而FR则会学习初始特征和合成特征之间的区别，更好地提取特征中的信息。

        在阶段二中，将FR中不同层的特征，按照既定的规则进行拼接(concate)，形成最终改良特征，并将最终改良的特征用于分类任务。

        (b)则显示了FR的内部细节。FR学习有区别性的特征(discriminative features)，而FR中不同层的特征在拼接后便得到了完全改良特征。

FR

        由于VAEGAN完全是已有方法，所以在此不做赘述，直接开始FR。在开始之前要提一嘴，带s下标的，均为训练时模型见过的类(seen classes)，而u则为没见过的类(unseen classes)。任何一幅图，不论属于哪一类，都自带一个embedding，记为a，这是原文在第三节中，3.1节开始之前的最后一段说的原文，至于哪来的我也不知道，可能是用已有的embedding提取模型得到的。

SAMC-loss

        SAMC-loss公式为

       

        这里的μ，一定是训练时见过的类在FR中提取出来的中间特征。y是图像所属类，yc则是该类语义嵌入的中心(semantic embedding)，y'则是随机采样的另一个类，同理yc'是该类的语义嵌入的中心。通过调整γ，就能控制FR是更关注类内一致性还是类间差异。

Semantic Cycle-Consistency Loss

        这玩意名字高大上，但其实就是FR最后一层会试着重建输入特征所对应的embedding。

        

        公式看起来也挺高大上，但说人话就是把重建后的embedding与原embedding按位做差再取绝对值最后求和。

fully refined features

        最后，根据输入图像所属的类是否见过，通过不同的方式得到最终改良的特征。

        

        对于见过的类，直接用预训练的backbone提取的特征即可。

        

        对于没见过的类，则要使用VAEGAN映射后的特征，这样才能保证未见过的类所用的特征与见过的类的特征没有明显的跨数据集偏移。