Dynamically Fused Graph Network for Multi-hop Reasoning

Dynamically Fused Graph Network for Multi-hop Reasoning

用于多跳推理的动态融合图网络

Abstract

在两个或更多文档中的文本中进行多跳问答任务是一个难点。在本文中，作者提出了一种新的方法–动态融合图网络(DFGN)，用于回答需要多个分散证据并在其上进行推理的问题。
受人类循序渐进推理行为的启发（从query中感兴趣的实体开始，聚焦于实体开始周围的单词，连接到邻居中发现的或相同surface提及链接的某个实体，然后重复以上步骤）
DFGN包含了一个动态融合层，它从给定query中提到的实体开始，沿着从文本动态构建的实体图进行探索，然后从给定文档中逐步找到相关的支持实体。

Model

段落选择

对于每个问题，假设给出了$N_p$个段落。很显然，并不是每一个段落都与问题相关，因此本文训练了一个子网络来选择段落。通过BERT，然后通过sigmod进行句子分类。推理过程中，选择预测分数大于$\eta$的段落作为上下文C。

Constructing Entity Graph

通过工具包从上下文中识别NER，然后基于识别的实体构建实体图，代码比较简单。

Encoding Query and Context

将query和通过段落选择的context进行联合送入到BERT中，然后通过Bidaf，作者验证了联合编码比分别输入BERT效果更好，通过bidaf比仅使用BERT更好。

Reasoning with the Fusion Block

将构建的实体图与encoder的输出通过图注意力运算，形成document to graph flow。

Experiment

启示

• 代码（模型部分）写的有点扯
• 构建的实体图与encoder的输出进行融合推理的想法很好，可以将识别的出的NER与知识库结合详细可见