Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering翻译笔记（知识感知问答、多跳关系推理）

---

论文标题：用于知识感知问答的可扩展的多跳关系推理

论文链接：https://arxiv.org/abs/2005.00646
arXiv:2005.00646v2 [cs.CL] 18 Sep 2020

摘要

已有的关于通过外部知识（如知识图谱）增强问答（QA）模型的研究，要么在模拟多跳关系时遇到困难，要么缺乏对模型预测推理的透明度。在这篇论文中，我们提出了一种新颖的知识感知方法，该方法为预训练语言模型（PTLMs）配备了一个多跳关系推理模块，名为多跳图关系网络（MHGRN）。该方法在从外部知识图中提取的子图上执行多跳、多关系推理。所提出的推理模块将基于路径的推理方法和图神经网络相结合，以实现更好的可解释性和可扩展性。我们还通过实验证明了它在CommonsenseQA和OpenbookQA数据集上的有效性和可扩展性，并通过案例研究来解释其行为。

1 简介

许多最近提出的问题回答任务不仅需要机器理解问题和上下文，还需要通过引用外部知识对实体（概念）及其关系进行关系推理（Talmor等，2019；Sap等，2019；Clark等，2018；Mihaylov等，2018）。例如，图1中的问题需要模型对提到的实体进行关系推理，即推断概念之间的潜在关系：{儿童，坐，桌子，教室}。背景知识如“儿童很可能出现在教室里”可能并不包含在问题本身中，但对人类来说是常识。

图1：知识感知问答的示意图。如果提供一个与ConceptNet相关的子图作为证据，CommonsenseQA的一个样例问题可以得到更好的回答。蓝色节点对应于问题中提到的实体，粉色节点对应于答案中的实体。其他节点是一些在提取子图时引入的相关实体。⋆表示正确答案。

尽管大规模预训练语言模型（PTLMs）取得了成功（Devlin等人，2019；Liu等人，2019b），但这些模型在提供可解释性预测方面还存在问题。因为它们的预训练语料库中的知识不是明确表达的，而是通过隐式学习获得的。因此，很难找到推理过程中使用的证据。

这导致许多人利用知识图谱（KGs）（Mihaylov和Frank，2018；Lin等人，2019；Wang等人，2019；Yang等人，2019）。知识图谱通过多关系边表示实体之间的关系，以便模型获取这些关系。采用知识图谱带来了可解释和值得信任的预测可能性，因为知识现在已经明确地表述出来了。例如，在图1中，关系路径（CHILD → AtLocation → CLASSROOM → Synonym → SCHOOLROOM）自然为答案SCHOOLROOM提供了证据。

一种简单的方法是直接利用知识图谱来建模这些关系路径。KagNet（林等人，2019）和MH-PGM（鲍尔等人，2018）通过从知识图谱中提取关系路径并使用序列模型对其进行编码来模拟多跳关系。在这些关系路径上应用注意力机制可以进一步提高解释性。然而，这些模型很难扩展，因为图中可能的路径数量（1）与节点数量呈多项式关系（2）与路径长度呈指数关系（见图2）。因此，一些研究者（Weissenborn等人，2017；Mihaylov和Frank，2018）只使用一跳路径，即三元组，来平衡可扩展性和推理能力。

图2：在Common-senseQA上提取的图中，节点数量与K跳关系路径数量之间的关系。左：路径数量与节点数量呈多项式关系。右：路径数量与跳跃次数呈指数关系。

图神经网络（GNNs）通过它们的信息传递公式具有更好的可扩展性，但通常缺乏透明度。最常用的GNNs变体，图卷积网络（GCNs）（Kipf和Welling，2017），通过聚合每个节点的邻居信息来执行信息传递，但忽略了关系类型。RGCNs（Schlichtkrull等人，2018）通过执行关系特定的聚合来扩展GCNs，使其适用于多关系图。然而，这些模型不能区分不同邻居或关系类型的重要性，因此无法为模型行为解释提供明确的关系路径。

在这篇论文中，我们提出了一种新颖的图编码架构——多跳图关系网络（MHGRN），它结合了基于路径模型和GNNs的优势。我们的模型从GNNs那里继承了可扩展性，通过保持消息传递公式来实现这一点。同时，它还享受到了基于路径模型的解释性优势，方法是引入了结构化的关联注意力机制。我们的主要动机是在单层内执行多跳消息传递，以使每个节点能够直接关注其多跳邻居，实现多跳关系推理。我们在表1中概述了知识感知问答模型的有利特性，并将MHGRN与它们进行比较。

表1：我们MHGRN与其他代表性的图编码模型的特性对比。

我们总结本工作的主要贡献如下：1）我们提出了MHGRN，这是一种专为多跳关系推理设计的新型模型架构，它明确地大规模建模多跳关系路径。2）我们提出了一种结构化的关系注意力机制，用于有效且可解释地建模多跳推理路径，以及其训练和推断算法。3）我们在两个问题回答数据集上进行了广泛的实验，并证明我们的模型相比知识非相关PTLMs带来了显著的改进，而且在很大程度上超过了其他图编码方法。

2 问题表述和概述部分

在这篇论文中，我们把范围限制在多选题回答的任务上，尽管它可以很容易地推广到其他知识指导的任务（例如，自然语言推理）。知识感知问答的总体范式如图3所示。正式地说，给定一个外部知识图（KG）作为知识来源和一个问题q，我们的目标是从一组给定的选项C中确定正确答案。我们将这个问题转化为测量q和每个选项a∈C之间的可信度得分，然后选择可信度得分最高的选项。

将问题q和选项a的向量表示分别记为q和a。为了衡量q和a的得分，我们首先将它们连接起来形成一个陈述向量s = [q; a]。然后，我们从外部知识图中提取一个子图G（即KagNet中的模式图（Lin等人，2019）），在s的指导下进行操作（详细信息见第5.1节）。这个上下文相关的子图被定义为一个多关系图G = (V, E, φ)。在此，V是外部知识图中实体的一个子集，只包含与s相关的那些实体。E ⊆ V × R × V 是连接V中节点的边的集合，其中R = {1, …, m} 是所有预定义关系类型的ids。映射函数 φ(i) ∶ V → T = {E_q, E_a, E_o} 将节点i ∈ V作为输入，并输出E_q如果i是在q中提到的实体，E_a如果它在a中被提及，否则为E_o。最后，我们将陈述编码为s，G编码为g，将s和g连接起来，以计算合理性分数。

3 背景：多关系图编码方法

我们把s的编码留给预训练的语言模型处理，而专注于解决如何编码图G以捕捉实体之间的潜在关系这一挑战。当前用于编码多关系图的方法主要分为两类：GNNs（图形神经网络）和基于路径的模型。GNNs通过在节点之间传递消息来编码结构化信息，直接操作图形结构，而基于路径的方法首先将图形分解为路径，然后在其上聚合特征。

使用GNNs进行图形编码。对于一个包含n个节点的图，图神经网络（GNN）以一组节点特征{h₁, h₂, …, h_n}作为输入，并通过信息传递（Gilmer等人，2017）计算它们对应的节点嵌入{h’₁, h’₂, …, h’_n}。因此，可以通过在节点嵌入{h’_i}上进行池化来获得图G的紧凑表示：

作为GNNs的一个显著变体，图卷积网络（GCNs）（Kipf和Welling，2017）通过从直接邻居节点收集信息来更新节点嵌入。关系增强的图卷积网络（RGCNs）（Schlichtkrull等人，2018）将GCNs扩展到编码多关系图中，方法是为每种边类型定义关系特定权重矩阵W_r：

其中$N_i^r$表示节点i在关系r下的邻居。

虽然GNNs已经证明具有良好的可扩展性，但它们的推理是在节点级别进行的，这使得它们与建模路径不兼容。这个特性也阻碍了模型的决策在路径级别上变得不可解释。

基于路径的图编码模型。除了直接使用GNNs对图进行建模外，还可以将图看作是一组连接实体对的关系路径。

关系网络（RNs）（Santoro等人，2017）可以适应多关系图编码在问答设置中。RNs使用MLPs来编码图G中所有三元组（一个跳转路径），其头部实体在Q = {j | φ(j) = E_q}中，尾部实体在A = {i | φ(i) = E_a}中。然后，它对三元组嵌入进行池化，以生成如下所示的G向量。

在此，h_j 和 h_i 分别是节点 j 和 i 的特征，e_r 是关系 r ∈ R 的嵌入向量，⊕ 表示向量拼接。

为了进一步使 RN 具有建模非退化路径的能力，KagNet（林等人，2019）采用 LSTM 来编码问题实体和答案实体之间长度不超过 K 的所有路径。然后通过注意力机制聚合所有路径嵌入向量。