A Semantics-aware Transformer Model of Relation Linkingfor Knowledge Base Question Answering

关系链接的语义感知转换器模型知识库问答

关系链接是一个重要的组成部分知识库问答系统。 现有系统使用多种启发式，或多个系统的集合，严重依赖表面问题文本。然而，显式语义解析问题是未被利用的关系信息的丰富来源。 我们提出了一个简单的基于transformer的神经模型用于利用句子的 AMR 语义解析的关系链接。 我们的系统在 4流行的基准数据集。 这些是基于在 DBpedia 或 Wikidata 上，展示我们的方法在 KG 中是有效的。 

我们提出了 SemReL； 一个关系链接的语义感知神经模型。SemReL 将注释的问题文本作为输入
及其 AMR 解析和实体信息以及输出关系的排序列表。 这项工作的主要贡献如下： (a) 一个简单的，用于知识库上的关系链接的知识图不可知神经模型，（b）利用AMR 解析以获得更好的问题表示，以及(c) 使用四个数据集的实验评估基于我们展示的 DBpedia 和 Wikidata SemReL 在所有数据集上始终优于现有系统。

2 语义感知关系链接
我们提出了一个关系链接系统，该系统利用从底层知识库中检索相关关系的句子的语义结构。
我们假设语义表示从词汇形式中抽象出来，提供在训练示例中比表面文本更一致的结构线索。 为此，我们使用句子的 AMR 图作为其语义结构。 AMR 是有向无环图用一句话来捕捉谁对谁做什么。 图中的节点是概念和边标有这些概念之间的关系。 图 1 显示了示例 AMR 图问题“谁建立了帕特·文森特所在的城市死了吗？”。 请注意，问题的 AMR 图将查询的目标表示为特殊节点标记为“amr-unknown”。

 它的 AMR 图和问题中标记和链接的实体(We use the stack transformer parser of Astudillo et al. (2020); Lee et al. (2020) for generating AMR graphs and the BLINK system of Wu et al. (2019) for entity linking.

)。 关系链接分两步执行。 首先，我们的系统在句子和 AMR 图中识别预期关系的数量及其位置。 接下来，对于每个识别出的槽，最可能的关系是使用基于变换器的神经模型预测的，该模型使用来自 KG 的英文标签对它们进行排名。句子的 AMR 结构在这两个步骤中都至关重要。 图2显示了整个系统的示意图。 在下面，我们首先解释使用查找潜在关系槽的过程AMR 图。 接下来我们详细描述我们的关系链接模块。

2.1 关系槽预测
AMR 显式标记命名实体节点（参见图 1）。 这些节点使用 BLINK 实体链接器链接到知识库实体。 图中的实体节点也用于预测数量
和关系槽的位置。 槽被定义为 AMR 图中的一对节点，其中对应的实体在问题上下文中的知识库中具有关系。 例如，
在图 3 中，节点 city 和 person 涉及与此问题相关的 KB 关系死亡地点。 时隙预测是使用 (Kapa nipathi et al., 2021) 中描述的基于确定性规则的转换完成的。 特别是，我们使用他们基于路径的方法，其中 amr-unknown 节点和链接实体节点之间的所有路径
被检索。 然后，沿路径由谓词节点连接的所有节点对都被视为一个关系槽。

2.2 神经关系链接模型
SemReL 采用 Siamese 网络，其中输入问题和目标关系嵌入在相同的向量空间中。 最可能的关系是表示最接近的关系 的输入问题。 图 3 显示了我们模型的整体架构。 我们使用 Transformer 模型 (Vaswani et al., 2017) 作为输入问题和候选关系的共享编码器。 特别是，我们使用预训练的 BERT 模型（Devlin 等人，2018 年）来初始化编码器参数。 输出向量对应到起始 [CLS] 标记用作输入的向量表示。 该向量通过一个前馈线性层，将其投影到共享嵌入空间。 与Transformer不同参数，顶部线性投影层的权重在问题和关系之间不共享。

语义信息作为输入到编码器的问题的一部分给出。如上所述，在预处理步骤中，识别 AMR 图中的节点对以进行关系链接。例如，在图 3 中，节点“person”和“city”在输入图中被标记为潜在关系的参与者。连接这些节点的子图以自顶向下的方式遍历到形成线性化表示；在这种情况下，它将产生线性化的字符串“die :ARG1 person :location city”。请注意，节点“die-01”的感知标签被删除。此外，所有反向 AMR带有 -of 后缀的关系被规范化为其原始关系名称和方向。在这个例子中 :location-of 被映射到 :location ，方向相反。我们在这个线性化 AMR 路径前面加上输入问题文本的字符串以及特殊的前导标记 [AMR]。问题文本也以特殊的前导标记 [TEXT] 开头。与 AMR 子图的根对齐的单词是标记为 predicate2 ，使用特殊的开始和结束谓词标记 [SP] 和 [EP]。图 3 显示了进入问题编码器的示例问题的完整输入。相同的转换器模型也用作关系编码器。关系名称使用 BERT 分词器进行分词，无需任何额外的预处理。我们将特殊标记 [AMR]、[TEXT]、[SP] 和 [EP] 以及 AMR 关系标签添加到 BERT 词汇表中

训练目标：在训练期间，计算黄金关系的分数以及一组基于他们的向量与问题的向量的内积。 对于向量表示为 ri 的关系 ri 和向量表示为 qn 的问题 qn，得分为 s(ri, qn) = ri.qn。 训练目标是最小化 one-hot gold 真理和预测分数向量之间的交叉熵损失： 

推理：在推理过程中，我们使用 s(r, q) 来表示
得分和排名关系。 由于模型参数保持不变，我们只计算一次所有关系的关系表示。 如果可以从实体分析中获得候选 KB 关系，我们
从该集合中选择排名最高的关系。