Multi-Label Zero-Shot Learning with Structured Knowledge Graphs

未完。。。

 

本文提出了一种用于多标签零样本学习（ML-ZSL）的深度学习架构，它能够为每个输入实例预测未知的类标签。受人类利用对象之间语义知识方式的启发，我们提出了一个框架，包含用于描述多个标签之间关系的知识图谱。我们的模型从语义标签空间学习信息传播机制，该机制可用于建模已知和未知类标签间的相互依存关系。 通过对视觉推理的结构化知识图谱的研究，我们证明了我们的模型可用于解决多标签分类和ML-ZSL任务。与目前性能最好的方法相比，我们的模型可以实现类似或更优的性能。

 

Introduction：

我们不仅仅希望将图片与多个标签相关联，还希望利用标签之间的相关性。一般来说，二元相关性是解决多标签分类问题的最简单方法，它把原始任务转化为多个不相交的二元分类问题。然而，它缺乏建模标签共同出现的能力，因此不是优选的。还可以通过假设标签先验获得交叉标签相关性，如[38，7]。而基于标签嵌入的方法[3，43，6，5，4]将输入图像及其标签投影到潜在空间以利用标签相关性。还提出了利用深度神经网络的方法。BPMLL[50]首先提出了用于对标签间的依赖关系进行建模的损失函数，其他最近的工作也提出了不同的损失函数[18，34]或体系结构[46，45，49]以进一步提高性能。 

多标签零样本学习（ML-ZSL）是零样本学习（ZSL）的一个分支，它从多标签分类扩展而来，要求对训练过程中未定义的未知标签进行预测。传统的多标签方法，如二元相关性或基于标签先验的方法显然不能直接应用于ML-ZSL，因为这些方法缺乏推广到未知的类标签的能力。相比之下，在语义空间中利用标签表示的方法，例如标签嵌入方法，可以更容易地适