Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs

Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs 阅读笔记

动机:	解决multi-hop 的QA问题； 在single-hop的QA 任务中表现良好的co-attention 和self-attention 的结合，对于multi-hop 也很有用； GNN(graph neural networks)被运用于解决multi-hop QA任务。
贡献：	作者提出了一个解决multi-hop QA的模型，叫做Heterogeneous Document-Entity (HDE) graph。 1. the HDE graph contains different types of query-aware nodes representing different granularity levels of information 【candidates （就是候选答案里面的选项）, documents and entities】 . 2. HDE 有利于不同类型的节点间信息的交互
模型：	1.context encoding  (1) 用GRU对query, document 和 候选答案进行编码，分别得到query向量表示,第i个文本的向量表示和第j个候选答案的向量表示 (2) 抽取实体： we propose to extract mentions of both query subject s and candidates C_q from documents. 抽取query 和 候选答案中的mention 作为实体，并利用simple exact match 策略定位mention的位置，再根据文本的向量表示，得到实体的向量表示 (3) co-attention:  [套路] 计算query 和第 i 个 document 之间的similarity matrix: 计算query 和 第 i 个 document 的attention context : 使用双向GRU编码co-attention document context: 按列拼接，获得最终的co-attention context: 被期望为query-aware document context representation 类似地co-attention 被运用在 query - candicate ; query-entities  (4) self-attentive pooling: 对进行self-attention 操作，目的是 "self-attentive pooling is designed to convert the sequential contextual representation to a fixed dimensional non-sequential feature vector by selecting important query-aware information" 同理得到和   2.Reasoning over HDE graph (1) building graph： 用document, candicate , entities 作为节点，self-attentive 后的向量作为节点向量，并设计了一系列规则构建节点间的边。 (2) 信息传递： 经过效果对比，作者选用GCN的消息传递策略(message passing strategy)，该过程由两步实现：聚合与组合。这两步反复迭代实现信息传递。 聚合： 其中，是所有边类型的集合，是边类型为的节点的邻居，是k 层节点j 的向量表示。 组合： 在模型层数较大时，GNN往往会遇到过平滑问题(smoothing problem)，导致图中节点表示过于相似、没有区分度。为解决这一问题，作者提出了一种门机制: 3.Score accumulation 经过图的构建与GNN迭代，我们现在得到了图的表示，基于该表示，我们现在可以对候选答案进行打分了。打分由候选答案和其相对应的实体两类节点参与： 是候选答案节点的向量表示，是候选答案所对应实体节点的表示。