Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering

本文是LLM系列文章，针对《Empowering Language Models with Knowledge Graph Reasoning for Open-Domain Question Answering》的翻译。

摘要

回答开放领域的问题需要掌握有关上下文实体的世界知识。由于预先训练的语言模型缺乏存储所有所需知识的能力，因此通常使用外部知识源（如知识图谱）来增强语言模型。在这项工作中，我们提出了knOwledge REasOning授权语言模型（OREOLM），该模型由一个新的知识交互层组成，该层可以灵活地插入到现有的基于Transformer的LM中，以与可微知识图谱推理模块协同交互。通过这种方式，LM引导KG走向期望的答案，而检索到的知识改进了LM。通过在RoBERTa和T5中采用OREOLM，我们显示出显著的性能提升，在闭书设置中实现了最先进的结果。性能的提高主要来自KG推理推断缺失关系事实的能力。此外，OREOLM提供了推理路径作为解释模型决策的理由。

1 引言

2 方法

3 实验

4 相关工作

5 结论

我们提出了OREOLM，这是一个将符号K