论文浅尝 | 利用常识知识图谱进行多跳推理的语言生成方法

笔记整理 | 朱珈徵，天津大学硕士。

---

链接：https://arxiv.org/pdf/2009.11692.pdf

动机

尽管生成式预训练语言模型在一系列文本生成任务上取得了成功，但在生成过程中需要对基础常识知识进行推理的情况下，它们仍然会受到影响。现有的方法将常识性知识整合到预训练生成式语言模型中，只是通过对个体知识三元组进行后训练来转移关系知识，而忽略了知识图谱中的丰富联系。作者认为利用知识图的结构信息和语义信息有助于常识感知文本的生成。在本文中提出了基于多跳推理流的生成(Generation with Multi-Hop Reasoning Flow, GRF)，使预训练模型能够对从外部常识知识图中提取的多关系路径进行动态多跳推理。实验表明，本文模型在需要推理常识知识的三个文本生成任务上优于现有的基线。文中还演示了动态多跳推理模块的有效性，并通过该模型推断出推理路径，为生成提供了理论依据。

亮点

本文的亮点主要包括：

（1）提出了一种新的生成模型GRF，该模型在文本生成中利用外部结构常识知识进行显式常识推理；

（2）提出