【每日一读】EMNLP2020:面向多跳问答的分层图网络

• Paper: (EMNLP2020)Hierarchical Graph Network for Multi-hop Question Answering
• Link: https://www.aclweb.org/anthology/2020.emnlp-main.710/
• Code: https://github.com/yuwfan/HGN

这是一篇关于多跳问答(multi-hop QA)任务的论文，不同于单跳QA，multi-hop QA任务下问题的答案需要对多个段落或篇章进行多跳推理。

然而，现有的相关工作仍旧存在一些挑战与困难需要被进一步研究:

• 现有工作会使用类似信息检索的思想来查找问题相关的段落，然后用MRC任务中类似的方法来找到问题的答案，但存在的问题是:怎么将散落在不同语义粒度(段落、句子、实体)的信息聚合起来，用于进行答案和支撑事实发现的联合预测。

• 为了更好地利用文中用于answer发现的evidence, 一些工作通过构建实体级别的图结构来进行推理；然而，基于实体图的方法能够用于预测问题的答案，却不能用于支撑事实的发现。

基于以上问题，作者设计了**Hierarchical Graph Network (HGN)**来进行multi-hop QA 任务，较之以往工作，它有以下三个特点:

• 具有四种类型的节点，分别是问题节点、段落节点、句子节点 和 实体节点 ，不同类型的节点可分别用于multi-hop QA下的不同步骤下的子任务中；
• 引入预训练语言模型来学习文本的上下文表示，并得到节点的初始化表示，再通过图网络进一步更新节点表示；
• 由于问题的答案不一定是一个实体，因此在答案预测时引入 span prediction 来发现非实体的问题答案。

具体地，HGN模型由如下部分构成:

• Graph Construction Module: 分层图构建模块，包括三个步骤: 通过title matching 选择与问题相关的段落、发现段落中能够提供指向其他段落证据的实体、句子，基于以上两边得到了图中所需的节点，再根据规则在节点之间添加上连边。

• Context Encoding Module： 使用Roberta和BiLSTM对文本进行编码，得到问题节点、段落节点、句子节点的初始表示。

• Graph Reasoning Module： 使用图注意力机制在节点之间进行信息传递，更新节点的表示。

• Multi-task Prediction Module：分步进行如下三个子任务: 基于段落节点的段落选择、基于句子节点的支撑事实预测、以及基于实体节点答案预测 以及基于上下文表示和span prediction的非entity答案预测。

作者使用HGN模型在HotpotQA 数据集上进行实验，在两种任务设置下，都在Answer Prediction与Support Fact Prediction的联合任务上都取得了sota效果。

最后，作者又进行了一系列的分析，包括误差分析、消融实验、不同预训练模型对实验结果的影响以及HGN在不同推理类型下的性能。

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋