The More You Know: Using Knowledge Graphs for Image Classification ——用知识图谱进行图像分类论文阅读笔记

 

Abstract 

使人类区别于现代基于学习的计算机视觉算法的一个特征是获得关于世界的知识并使用该知识推理关于视觉世界的能力。人类可以了解物体的特征以及它们之间发生的关系，从而学习各种各样的视觉概念，并且可以通过很少的例子学习。本文研究了知识图谱形式的结构化先验知识在图像分类中的应用，表明利用结构化先验知识可以提高图像分类的性能。我们基于最近关于图的端到端学习的工作，引入Graph Search Neural Network，作为将大知识图谱有效地结合到视觉分类pipeline中的方法。我们在一些实验中表明，我们的方法在多标签分类中优于标准神经网络。

 

Introduction 

我们的世界包含人类理解的数百万视觉概念。这些常常是模棱两可的（番茄可以是红色或绿色），重叠的（交通工具包括汽车和飞机），并且有数十或数百个子类别（数千种特定种类的昆虫）。虽然一些视觉概念非常常见，如人或车，但大多数类别的例子较少，形成长尾分布。然而，即使只显示了几个甚至一个例子，人类仍然具有非常显著的能力来高精度地识别这些类别。相比之下，虽然现代的基于学习的方法可以高精度地识别某些类别，但是通常需要为这些类别中的每个类别提供数千个标记的示例。考虑到视觉概念空间大、复杂而且动态，这种为每个概念构建大型数据集的方法是不可扩展的。因此，我们需要寻找目前人类拥有而机器没有的方法。

在图上或者神经网络训练的图中，端到端（备注：端到端指输入是原始数据，输出是最终结果）的学习已经有很多工作。大多数方法要么从图中提取特征，要么学习在节点之间传递证据的传播模型，该模型以边缘的类型为条件。一个例子是Gated Graph Neural Network，它以任意的图作为输入。给定特定于任务的一些初始化，它学习如何传播信息并预测图中每个节点的输出。该方法已被证明可以解决基本的逻辑任务和程序验证。

我们的工作改进了该模型，并将端到端的图形神经网络应用于多标签图像分类。我们引入图形搜索神经网络(Graph Search Neural Network，GSNN)，它利用图像中的特征对图形进行有效的注释，选择输入图的相关子集，并预测表示视觉概念的节点上的输出。然后使用这些输出状态对图像中的对象进行分类。GSNN学习传播模型，该模型推理不同类型的关系和概念，以便在节点上产生输出，然后用于图像分类。我们的新架构减轻了GGNN在大图上的计算问题，这允许我们的模型被有效地训练并用于使用大知识图谱的图像任务。我们展示了我们的模型在推理概念中是如何有效的，以改善图像分类任务。重要的是，我们的GSNN模型还能够通过跟踪信息在图中如何传播来提供关于分类的说明。

这项工作的主要贡献是：（a）引入GSNN，作为将潜在大知识图谱合并到端到端学习系统中的一种方法，该系统在大图的计算上是可行的；（b）使用噪声知识图谱进行图像分类的框架；（c）通过使用传播模型来解释我们的图像分类的能力。我们的方法大大优于多标签分类的baselines。

 

Methodology

1、Graph Gated Neural Network 

给定N个节点的图，我们希望产生一些输出，这些输出可以是每个图节点 ,