基于认知图谱的多跳问题阅读理解

原文链接

摘要

  本文提出一种基于认知图谱的问答系统CogQA，模型基于认知科学中的双通道理论，联合implicit extraction 模块（system 1）和explicit reasoning模块（system 2）进行迭代。在给出正确答案的基础上，我们更希望给出可解释性的推理过程。在实现层面，分别采用BERT和GNN模型，并在HotPotQA相同的语料库上进行测试，取得了优异的成果。

引言

  在SQuAD等模型中，基于深度学习的机器阅读理解模型已经取得了比人类更好的效果。但如果想实现机器和人类一样的阅读理解能力，还有三个问题亟待解决：
  1）推理能力：目前已经有的机器阅读理解模型，是基于问题去在原文中搜索答案，不具备复杂的推理能力，因此多跳问题的处理能力不强。
  2）可解释性：显式的推理路径对于问答问题来说是尤为重要的，HotPotQA模型可以提供的句子是无序的，句子层面的可解释性，但人类需要一步步解决问题，需要有序的，实体层面的可解释性。
  3）可移植性/可扩展性：现有的QA是基于检索和提取的系统，如DrQA，通过预检索的方法缩减了检索的范围，这种方式是对简单QA和大规模信息检索的妥协之举，和人类通过推理获得的大规模知识存储有所差距。
  因此，可以通过认知科学中的双通道理论解决以上难题。双通道理论提出，人们首先会根据注意力在脑海中检索相关信息，这是一个隐式的、无意识的过程（system 1），并根据另一个显式的、有意识的、可控的推理过程（system 2）。System 1 为需要提供资源，system 2对存储空间的知识进行时序化推理，虽然慢但符合人类的推理模式。在复杂推理中，system 1 和system 2相互配合，迭代实现快慢结合的思考模式。
  本文提出基于认知图谱的CogQA模型，由system1和system2实现。System1 会提取问题中相关实体，并根据段落确定候选答案的表示向量，抽取的实体构成认知图谱，即存储空间。System 2基于图谱进行推理，收集clue来指引system1更好的抽取下一跳实体。通过BERT实现system1，GNN实现sysytem2 。

模型实现

System 1：BERT模型（多层transformer，自注意力机制，大规模语料库上训练）
  值得一提的是，在下一跳实体和可能答案提取的过程中，由于下一跳实体和答案实体的特征不同，会将下一跳实体和答案实体分开处理。答案实体的选择依赖于问题中给定的范围，例如时间when，地点where；下一跳实体是跟前驱实体的段落中和问题相关的实体，特征是不同的。为了剔除不相关的段落，设置一个阈值，把开始概率低于阈值的段落舍弃。
System2：GNN模型
  第一个功能是为frontier nodes提供clue，收集x的前驱节点中包含x的句子；第二个功能是更新隐藏层表示X。在system2中以GNN的变种来实现。
问题类型
Special：最常见的问题，询问时间地点或者实体名字
General：比较两个实体的属性，输出一个实体的名字
Alternative：比较两个实体属性，输出是或否
训练
1）信息提取
2）答案预测

实验分析

暂时略过，在看代码时结合看

未来展望

  未来的研究方向：受益于认知图谱的显式结构，CogQA中system2具有利用神经逻辑技术的潜力提高可靠性。此外，我们希望结合注意力和循环机制将大大优化system1和2之间的交互。最后，我们相信框架可以推广到其他认知任务，例如对话式AI和顺序推荐。