《Zero-Shot Recognition via Semantic Embeddings and Knowledge Graphs》论文笔记

目录

 

abstract

introduction

---

abstract

zero-shot 识别问题：

•  学习 存在一个没有训练样例 的类别 的视觉分类器。
• 根据所提供的视觉数据，使用这个类的word embedding及这个类与其他类别的关系，来训练该视觉分类器。

解决方法：将相似类的知识转移到这个类来描述这个类。

---

本文在图卷积网络（Graph Convolutional Network，GCN）的基础上提出了使用semantic embeddings方法和categorical relationships来预测分类器。给定一个学到的知识图谱（KG），每个表示了视觉分类的node将semantic embeddings作为输入。经过一系列图卷积后，我们对每个category预测视觉分类器。

在训练的过程中，对于一小部分categories的视觉分类器被用来学习GCN的参数。在测试阶段，filters预测unseen categories的visual classifiers。

本方法在KG中对噪声是鲁棒的。

---

introduction

• zero-shot ==> 从已知的相似标签来进行泛化。
• transferring knowledge：1.隐式知识表示（如sema