论文浅尝 | QA-GNN: 使用语言模型和知识图谱的推理问答

笔记整理：李继统，天津大学硕士

链接：https://arxiv.org/pdf/2104.06378.pdf

1. 动机

目前现有的方法，对于QA上下文使用LM处理，对于KG使用GNN进行处理，并且并不相互更新彼此的表示，也不做语义的对齐表示。因此QA上下文与KG的分离表示可能会限制模型执行结构化推理的能力（比如处理否定问题）。因此本篇工作主要在于QA上下文与KG的融合表示。

2. 亮点

基于知识图谱的问答（KBQA）集中于知识图谱上的多跳推理以及语言模型与知识图谱的融合，目前的方法需要解决两个问题：

（1）在给定上下文的条件下，如何从规模巨大的知识图谱中检索出相关的知识。

（2）如何进行问答上下文与知识图谱的联合推理。

本文提出了一个新的模型：QA-GNN，通过两个关键性创新来尝试解决上述问题：

（1）相关性评分：在给定问答上下文的条件下，使用语言模型计算相关性评分，来估计知识图谱中的实体对于给定上下文的重要性。

（2）联合推理：将问答上下文与筛选出的知识图谱的子图构建一