论文阅读Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

Reasoning with Latent Structure Refinement for Document-Level Relation Extraction

0. Summary

对于文档级关系抽取，现存的方法通过语义树、共指消解或者启发式的方法创建静态文档图。本文提出了一种自动生成文档图的方法。并且增加了细化策略，可以增量式的聚合相关信息并进行多条推理。我们的模型是基于结构化注意力构建的。 使用矩阵树定理的变体，我们的模型能够生成特定于任务的依赖结构，用于捕获实体之间的非局部交互。 我们进一步开发了迭代细化策略，使我们的模型能够基于上次迭代动态构建潜在结构，从而使模型能够增量捕获复杂的交互，以进行更好的多跳推理。

1. Research Objective

1.建立了一个动态文档图模型，不依靠于规则或者共指消解。随着不断地迭代更新策略，模型可以更有效地融合文档信息。

2.充分比较其他模型，验证自己模型的优越性。

2. Background and Problems

其他模型都是通过规则和共指来建立模型，但是我们将文档图看成一个隐变量，通过模型自动学习。

我们进一步开发了迭代细化策略，使我们的模型能够基于上次迭代动态构建潜在结构，从而使模型能够增量捕获复杂的交互，以进行更好的多跳推理。

3. Method

模型主要分为三个部分：节点表达、动态推理、关系分类。

3.1节点表达

3.1.1 文章编码

输入：一篇文章的每一条句子

方法：Bert或者BiLSTM

输出：每一个句子中的单词表达向量

3.1.2 节点抽取
总体模型：

分为三种类型的节点：实体节点，提及（mention）节点以及MDP（meta dependency paths元依赖路径）节点。

实体节点：指代它的mention的平均值

提及节点：根据不同的实体节点来定

MDP节点：MDP表示一个句子中所有提及的最短依赖路径集，在MDP元依赖路径中，引用和单词的表示分别被提取为提及节点和MDP节点。

3.2 动态推理

总体模型：

分为两个模块，分别是结构归纳模块和多跳推理模块。

结构归纳：使用矩阵树理论来学习文档图的隐表征。

对于两个节点i，j，通过前馈神经网络和transformer结构来学习两个节点之间的分数（边？）

然后计算该节点为根节点的概率：

接下来计算文档级图的每个依赖边的表示。对于有n个节点的图G，我们首先给图的边赋非负权

然后对于权值矩阵P进行拉普拉斯变换（目的是什么？）

最后得到A矩阵，A矩阵用来表示第i个和第j个节点之间依存边的边缘概率。

A可以理解为带权重的邻接矩阵。

多跳推理：

在文档图的隐表征中进行推理，并且基于信息融合机制对节点进行更新。利用GCN原理进行多条推理。

除此之外，LSR还使用了多层图网络密集连接，以便在大型文档级图上捕获更多的结构信息。在密集连接的帮助下，能够训练一个更深层次的模型，捕捉更丰富的局部和非局部信息，以学习更好的图形表示。

为了能够推断出超出简单父子关系的更丰富的结构信息，使用N个动态推理块来多次归纳文档级结构。通过与更丰富的非本地信息的交互，结构变得更加细化，归纳模块能够生成更合理的结构。

4.3 关系分类

4. Experiment

1.主要结果

在DocRe上的结果，最好是bert+LSR为56.97%

在CDR的结果：

不如SOTA好，文章解释说是因为在生物领域上，用Spacy获取MDP节点的效果不好。在没有MDP节点的方法中，效果很好。

2.与其他基于规则的模型如：EOG，QAGCN，基于注意力机制的模型：AGGCN做对比，验证隐模型的重要性。

3.验证refinement的有效性
每次都去掉一个组件的消融实验。

5. Conclusion

为了在文档级关系抽取任务中更好地进行推理，我们引入了一种新的潜在结构精化（LSR）模型。与以前依赖语法树、共同引用或启发式的方法不同，LSR动态地学习文档级结构，并以端到端的方式进行预测。今后的工作有多种途径。一个可能的方向是扩展节点构造的结构归纳范围，而不依赖于外部解析器。
此处所说的外部解析器指的是MDP节点，文章采用Spacy包来构造。所以作者希望日后的工作能有其他构造文档图的方法。