Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering阅读笔记

• 研究现状

Explain yourself! leveraging language models for commonsense reasoning（2019）	从人类注释的证据中生成证据
Kagnet: Knowledge-aware graph networks for commonsense reasoning（2019）	从同质知识来源结构化知识ConceptNet中提取证据
Commonsense for generative multi-hop question answering tasks（2018）
Knowledgeable reader: Enhancing cloze-style reading comprehension with external commonsense knowledge（2018）
Reading wikipedia to answer open-domain questions（2017）	从同质知识来源Wikipedia中提取证据

• 解决问题

本文针对常识问答，提出了一种知识抽取与基于图的推理相结合的方法，其中知识抽取中利用了来自异质知识来源的证据。

• 系统模型

系统包括两个部分：知识抽取、基于图的推理

        1.知识抽取

        系统根据问题和选项，从知识库ConceptNet和Wikipedia文本中抽取相关知识，然后将来自两个数据源的知识以不同的方法构建图谱。

        2.基于图的推理

        该部分由两个模块组成：基于图的上下文表示学习模块、基于图的推理模块。

        （1）基于图的上下文表示学习模块：使用图信息重新定单词间的距离，学习到更好的上下文词表示； 

        （2）基于图的推断模块：使用GCN和图注意力机制，得到节点的表示，用于最终的预测。

• 实验结果

实验采用的数据集为CommonsenseQA（包含12102个示例，9741个用于训练，1221个用于验证，1140个用于测试）

实验结果如下：

CommonsenseQA开发数据集和盲测试数据集的实验结果

本文还进行消融研究，下面两个表格分别证明了基于图的推理模块和异质知识来源的有效性：