阿里天池之江杯零样本图像目标识别Top1%方案分享

比赛结束了一周多了，历时近三个月，也是我第一次做零样本识别。名次是32/3224，虽然不太满意，但学到了很多东西。在这篇博文做一次总结，并将公开我们的代码。

零样本识别概念

零样本识别不同于传统的分类识别，传统的分类识别所有的label以及每个label对应的图像都可以用来训练，而且训练一个较好的分类器通常需要大量的训练图像。零样本识别的训练集并不包含测试集的label，因此需要识别一个从来没有见过label。但是，仅仅使用不包含测试集label的训练集去训练网络并不能对未知类别进行分类，因此需要其他的先验知识：Arrtibute 和 word embedding。虽然训练集不包含任何关于测试集的信息，但是Attribute 和 Word embedding包含有测试集的信息。 Attribute描述的是测试集每类的特征，例如，Attribute包含：是否是动物、是否是家具、蓝色、紫色…当这个测试集的label属于这个属性，则这个属性置1。而word embedding根据测试集的单词，用统计的方法或者语言模型的方法来生成，属于NLP的内容。因此，做零样本的一种常规步骤是：

1. 训练CNN网络用来提取特征。
2. 训练zero-shot部分完成CNN特征与word embedding类别的映射。

比赛采用的方法

比赛采用CVPR2018论文的方法:
Learning to Compare: Relation Network for Few-Shot Learning
这篇论文最大的特点是： CNN特征与Attribute特征concatenate后使用全连接来建立两者之间的关系。
之前最早使用的DEM：
Learning a Deep E