Answering Visual-Relational Queries in Web-Extracted Knowledge Graphs

Answering Visual-Relational Queries in Web-Extracted Knowledge Graphs(在web提取的知识图中回答可视化关系查询)

代码地址： https://github.com/nle-ml/mmkb.git

摘要：

视觉关系知识图(KG)是一个多关系图，其实体与图像相关联。探索了新的机器学习方法来回答网络提取的知识图中的可视化关系查询，为此创建了ImageGraph。这是一个知识图谱，包含1,330个关系类型、14,870个实体和829,931张从网络上抓取的图像。通过像ImageGraph这样的视觉关系KGs，可以引入新的概率查询类型，其中图像被视为一等公民。无论是不可见图像之间的关系预测，还是多关系图像检索，都可以用特定的可视化关系查询族来表示。我们引入了卷积网络和知识图嵌入方法的新组合来回答这类问题。我们还探索了一个零镜头学习场景，其中一个全新实体的图像与一个现有KG的实体的多个关系相链接。由此产生的不可见实体图像的多关系基础成为知识图，作为语义实体表示。实验结果表明，所提出的方法能够高效、准确地回答这些可视化关系查询。

1、介绍：

许多应用程序都可以用知识图建模，知识图用节点表示实体，用节点属性表示对象属性，用有向类型化边表示实体之间的关系。例如，产品推荐系统可以表示为一个知识图，其中节点表示客户和产品，输入边表示客户评论和购买事件。在医学领域，有几种知识图用于模拟疾病、症状、药物、基因及其相互作用。这些知识图中的实体越来越多地与可视化数据相关联，例如，在在线零售领域，有产品和广告图像，而在医疗领域，有与患者相关的成像数据集(核磁共振成像、ct等)，视觉数据是社交网络和万维网的一个重要组成部分。
知识图谱有助于结构化数据的集成、组织和检索，并支持各种形式的搜索应用程序，近年来，知识图谱在诸如问答[Das等人，2017]、语言建模[Ahn等人，2016]和文本生成[Serban等人，2016]等领域发挥着越来越重要的作用。
尽管在构建和维护KG方面有大量的工作，但是可视化关系KG的设置(实体与可视化数据关联)并没有得到太多的关注。
可视化关系KG表示实体、这些实体之间的关系，以及与实体关联的大量图像：

ImageNet [Deng等人，2009年]和VisualGenome [Krishna等人，2016年]数据集是基于KGs如WordNet。它们主要被用作ImageNet的对象分类数据集或用于促进单个图像中的场景理解，通过这项工作，我们解决了在知识图中组织的一组大型图像中对视觉概念进行推理的问题。
我们希望探索在何种程度上，web提取的视觉数据可以用来丰富现有的知识图谱，从而促进超越基本图像检索的复杂视觉搜索应用。
我们工作的核心思想是在KGs和可视化关系查询中都将图像视为一等公民。我们工作的主要目标是了解与KG实体关联的视觉数据在多大程度上可以与深度学习方法结合使用来回答这些视觉关系查询。允许图像作为查询的参数有助于许多新的查询类型，在图中，我们列出了本文中讨论的一些查询类型。

为了回答这些问题，我们在KG嵌入方法和深度表示学习方法上构建了可视化数据。这使我们能够准确而有效地回答这些视觉查询。
有许多应用领域可以从视觉KGs的查询回答中受益。
在在线零售中，新颖产品的视觉表示可以用于zero-shot产品推荐。
可视化关系KG不仅能够检索相似的产品，还能够支持产品属性的预测，更具体地说，支持客户可能感兴趣的哪些属性。
时尚行业的视觉属性对于产品推荐至关重要[Liu等人，2016,Veit等人，2015]能够将新颖的视觉概念根植到具有属性和各种关系类型的现有KG中是一种合理的零镜头学习方法。

贡献：

我们做出了以下贡献。首先，我们引入了ImageGraph，这是一个可视化关系网络提取的KG。有1,330个关系，其中829,931张图像与14,870个不同的实体关联，我们引入一组新的可视化关系查询类型，我们提出了一套新的神经体系结构和目标，用于回答这些新的查询类型。这些查询类型概括了图像检索和链接预测查询，是首次将深度CNN和KG嵌入学习目标结合到一个联合模型中。证明了提出的深度神经网络类对于zero-shot学习也是成功的，即在查询时仅使用视觉数据创建完全不可见实体和KG之间的关系。

2、相关工作：

我们讨论了我们对以前工作的贡献的关系。
重点是关系学习、图像检索、目标检测、场景理解、现有数据集和零镜头学习。
关系学习：
目前已经出现了一系列针对特定问题(如多关系图中的链接预测)的方法。例如，知识库分解和嵌入方法[Bordes等人，2013,Nickel等人，2011,Guu等人，2015]和基于随机游走的ML模型[Lao等人，2011,Gardner和Mitchell, 2015]。重点是集成额外的属性类型，如文本[Yahya等人，2016年，C.等人，2017年]，时间图动力学[Trivedi等人，2017年]和多种模式[Pezeshkpour等人，2018年]。
另一个研究方向是将链路预测问题扩展到多跳推理[Zhang等人，2018]。我们不能在这里列出所有先前的链接预测方法，而是推荐读者阅读两篇调查论文[Nickel等人，2016a, al Hasan和Zaki, 2011]。
与现有的方法相反，我们解决了在实体与网络提取的图像相关联的知识图谱中回答可视化关系查询的问题。
我们还解决了零射击学习场景，这是一个在多关系图中的链接预测环境中没有解决的问题。
图像排名：
图像检索是一个流行的问题，并已被多位作者解决[Wang et al.， 2014, Yang et al.， 2016, Jiang et al.， 2017, Niu等，2018,Guy et al.， 2018]。在[Yang等人，2016]中，提出了通过学习基于点击的多特征相似性对给定搜索引擎的输出进行重新排序，作者进行光谱聚类，并通过计算基于点击的聚类得到最终排名结果。在[Guy et al.， 2018]中，作者对DNN进行了微调，以对用户可能想要在社交媒体上分享的照片进行排名，以及一种检测重复照片的机制。在[Niu等人，2018]中，学习了一种联合用户图像嵌入，以根