阿里天池之江杯零样本图像目标识别Top1%方案分享

最新推荐文章于 2024-08-23 19:50:25 发布

jk_algo

最新推荐文章于 2024-08-23 19:50:25 发布

阅读量6.1k

点赞数 1

分类专栏： zero short learning 文章标签：零样本学习深度学习迁移学习

本文链接：https://blog.csdn.net/small_ARM/article/details/83832851

版权

本文介绍了作者在阿里天池之江杯零样本图像识别比赛中获得Top1%成绩的经验分享。文章详细阐述了零样本识别的概念，与传统分类的区别，以及比赛中采用的CVPR2018论文中提出的Relation Network方法，通过CNN与Attribute特征的融合学习，提升分类效果。文中还提及了对原有方法的改进，即在CNN特征后添加额外的全连接层，以增强特征域的映射能力，从而取得更好的结果。

摘要由CSDN通过智能技术生成

比赛结束了一周多了，历时近三个月，也是我第一次做零样本识别。名次是32/3224，虽然不太满意，但学到了很多东西。在这篇博文做一次总结，并将公开我们的代码。

零样本识别概念

零样本识别不同于传统的分类识别，传统的分类识别所有的label以及每个label对应的图像都可以用来训练，而且训练一个较好的分类器通常需要大量的训练图像。零样本识别的训练集并不包含测试集的label，因此需要识别一个从来没有见过label。但是，仅仅使用不包含测试集label的训练集去训练网络并不能对未知类别进行分类，因此需要其他的先验知识：Arrtibute 和 word embedding。虽然训练集不包含任何关于测试集的信息，但是Attribute 和 Word embedding包含有测试集的信息。 Attribute描述的是测试集每类的特征，例如，Attribute包含：是否是动物、是否是家具、蓝色、紫色…当这个测试集的label属于这个属性，则这个属性置1。而word embedding根据测试集的单词，用统计的方法或者语言模型的方法来生成，属于NLP的内容。因此，做零样本的一种常规步骤是：

训练CNN网络用来提取特征。
训练zero-shot部分完成CNN特征与word embedding类别的映射。

比赛采用的方法

比赛采用CVPR2018论文的方法:
Learning to Compare: Relation Network for Few-Shot Learning
这篇论文最大的特点是： CNN特征与Attribute特征concatenate后使用全连接来建立两者之间的关系。
之前最早使用的DEM：
Learning a Deep E