MILA研究院唐建：基于图神经网络的关系推理（附视频）

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列。北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动，以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨。2020年6月21日-24日，为期四天的2020北京智源大会在线上圆满举办。来自20多个国家和地区的150多位演讲嘉宾，和来自50多个国家、超过50万名国内外专业观众共襄盛会。

在 NeurIPS 2019 上，图灵奖得主、深度学习「三驾马车」之一的 Yoshua Bengio 指出深度学习需要进行从感知到认知的革命，指引研究者们尝试通过将 System 1 的快速感知系统与 System 2 的深度推理系统相结合实现更加强大的人工智能系统。

 

在本届智源大会上，来自 Yoshua Bengio 领导的 MILA研究院的知名华人学者唐建为大家带来了名为“Towards Integrating System I and System II for Relational Reasoning”的精彩报告，以其研究小组近期在半监督节点分类、知识图谱推理等任务上的研究进展为例，详细介绍了将感知系统与认知系统相结合的方法。

 

唐建，加拿大蒙特利尔学习算法研究院 (MILA) 以及加拿大蒙特利尔大学商学院助理教授、博士生导师。主要研究方向为：图表示学习、图研究网络、知识图谱、药物发现。曾获得机器学习顶级会议ICML2014的最佳论文以及数据挖掘顶级会议WWW‘16的最佳论文提名。发表了一系列在图表示学习领域的经典论文包括LINE、LargeVis、RotatE以及最近的Graph Markov Neural Networks (GMNN)。

整理：智源社区 熊宇轩

 

一、System 1 VS System 2 推理

 

首先，我们来回顾一下 System 1 和 System 2 推理的定义。

图1：System 1 vs System 2 推理

 

事实上，现在大多数的深度学习系统所做的工作都属于 System 1 推理，即「感知系统」。识别图像中的物体就是一种感知任务。在感知任务中，人通常是相对无意识的，这是一个快速思考的过程。但是生活中有很多任务是非常复杂的，仅仅凭借感知系统无法很好的解决这些问题。例如，对于 VQA 任务而言，给定一幅图片，我们需要基于该图的信息回答一些问题。在上图中，右侧给出了一个视觉问答系统（VQA）任务的示例——咖啡机右侧碗中的红色水果是什么？。要回答这样的复杂问题需要确定图像中不同物体之间的关系，从而进行进一步的关系推理。这就涉及到 System 2 推理（认知系统）。

 

认知系统是相对复杂的，它涉及到逻辑推理、知识工程、规划方法等技术，这是一个较慢的「有意识」的过程。

 

在本文中，我们将重点介绍如何将 System 1（感知系统）和 System 2（认知系统）用于关系推理。

 

图2：关系预测和推理

 

目前，关系推理和预测指的往往是在图数据结构和关系数据上进行预测和推理。下面我们将介绍几个典型的关系预测和推理任务：

 

• 节点分类（Node classification）：给定一些节点的标签（如上图中的红色、蓝色节点），预测相关节点的标签。

• 知识图谱上的推理（Reasoning on knowledge graphs）：基于已有事实推测未知事实。例如，已知 Bill Gates 是微软的联合创始人，Paul Allen 也是微软的联合创始人，从而推测以上两人是否具有朋友关系。

• 视觉关系推理（Visual relational reasoning）：对于 VQA 任务中的非图数据结构（图像和文本数据集），通过关系推理和预测回答复杂问题。

• 多跳问答系统（multi-hop Question Answering）：综合多个事实回答复杂问题，需要理解不同实体之间的关系，在关系图谱上进行推理。

 

在机器学习领域中，针对于关系推理于预测任务，有两套不同的学习框架，它们分别与 System 1 和 System 2 推理相对应。

 

其中，System 1 推理系统通过图表示学习技术（如图神经网络）将深度学习用于图数据结构，这类技术包括：

 

• 节点表示方法：DeepWalk、LINE、Node2Vec 等

• 知识图谱嵌入表示方法：TransE、TransR、RotatE 等

• 图神经网络（GNN）

 

然而，System 2 推理则对应于较为传统的统计关系学习，它指的是将概率图模型与知识、逻辑相结合的一些列方法，例如：

 

• 马尔科夫网络

• 条件随机场（CRF）

• 马尔科夫逻辑网络

 

其中，马尔科夫网络是将马尔科夫模型与一阶逻辑相结合的产物。下面，我们将通过几个关系预测和推理任务的例子，说明将 System 1 与 System 2 相结合。

 

示例 1：半监督节点分类

 

图3：半监督节点分类任务

 

节点分类是一类非常标准的简单任务。在图3中，节点的集合为 V。V是有标签节点集合和无标签节点集合的并集。是所有节点的特征的集合。在这里，节点分类任务指的是：给定一些带标签的节点