【零样本学习】Feature Generating Networks for Zero-Shot Learning

Abstract

由于seen class和unseen class训练数据的极度不平衡，现有的ZSL方法在GZSL任务上性能很差。我们提出基于GAN框架，利用语义信息来生成CNN特征。我们的方法利用Wasserstein GAN和分类损失，生成判别性强的CNN特征，来训练分类器（softmax classifiers or multimodal embedding method）。

Contributions

ZSL场景能够很好地评价生成模型的健壮性和泛化能力。特别是，当生成器可以学习到判别性强的视觉数据（并且方差足够大），所生成的数据对监督学习很有用。

1、提出条件生成模型 f-CLSWGAN，通过优化Wasserstein距离（分类损失可以看作正则化项），来生成unseen class的CNN特征；

2、实验证明，对于ZSL和GZSL场景，该方法性能都很好，并且可以将GZSL问题作为评价生成模型性能的任务；

3、我们的模型可以推广到不同的深度CNN特征（GoogleNet、ResNet等），并且可以用不同class-leve的语义信息（属性、词向量、句子向量等）

Note：利用WGAN和分类损失来学习判别性更强的特征，比GMMN[1]性能更好

Method

现有的ZSL方法在训练过程中只能看到seen class的数据，从而使预测偏向于seen class。我们提出的模型，通过生成unseen class的CNN特征，使得分类