目录
abstract
zero-shot 识别问题:
- 学习 存在一个没有训练样例 的类别 的视觉分类器。
- 根据所提供的视觉数据,使用这个类的word embedding及这个类与其他类别的关系,来训练该视觉分类器。
解决方法:将相似类的知识转移到这个类来描述这个类。
本文在图卷积网络(Graph Convolutional Network,GCN)的基础上提出了使用semantic embeddings方法和categorical relationships来预测分类器。给定一个学到的知识图谱(KG),每个表示了视觉分类的node将semantic embeddings作为输入。经过一系列图卷积后,我们对每个category预测视觉分类器。
在训练的过程中,对于一小部分categories的视觉分类器被用来学习GCN的参数。在测试阶段,filters预测unseen categories的visual classifiers。
本方法在KG中对噪声是鲁棒的。
introduction
- zero-shot ==> 从已知的相似标签来进行泛化。
- transferring knowledge:1.隐式知识表示(如sema