EMNLP2020文档级关系抽取模型GAIN 论文Double Graph Based Reasoning for Document-level Relation Extraction

前言

这是EMNLP2020一篇文档级关系抽取的论文，代码链接 https://github.com/DreamInvoker/GAIN，其性能相较ACL2020中的文档级关系抽取模型LSR有一定的提升，其能够有提升的主要原因在于两点：

1. 构建了异质图并使用了R-GCN进行特征传播，相较之前一些构建同质图然后做特征传播的模型，使用异质图可以融合更复杂的特征；
2. 增加了关系推理层，构建了一个实体图做关系推理。

1.摘要

文档级关系抽取的目的是提取文档中实体之间的关系。不同于句子层次的关系抽取，文档需要对文档中的多个句子进行推理。本文提出了GAIN模型。GAIN首先构建了一个异构提及级别图（hMG）来对文档中不同提及之间的复杂交互进行建模。在此基础上，提出了一种新的路径推理机制来推断实体间的关系。在公共数据集DocRED上的实验表明，GAIN在性能上比以前的先进技术有了显著的提高（F1提升为2.85）。

论文的主要工作：

• 为了更好地处理文档级的RE任务，提出了一种新的方法，即图聚合和推理网络（GAIN），它通过两种图网络来实现关系抽取，两张图一个用于特征传播一个用于关系推理。
• 引入了一个基于图神经网络的异构提及图（hMG），以模拟文档中不同提及之间的交互，并提供文档中实体提及的表示。
• 引入实体级图（EG），提出了一种新的实体间关系推理路径推理机制。

2.模型

GAIN相较于之前的模型，一个很大的特点是构建了两种图，使用实体提及构建Mention-level Graph然后用R-GCN进行特征传播，用实体构建Entity-level Graph进行关系推理，得到一个关系向量然后分类。

2.1 编码层

以句子为单位，使用LSTM或者BERT对文本进行编码，以LSTM为例，将每个单词的词向量 $E_w$、实体类型编码 $E_t$、共指编码 $E_c$（如果单词不是实体提及就设为Notype）拼接作为输入

这里的Encoder可以是LSTM或者其他常用的编码器

2.2 Mention-level Graph Aggregation 提及图特征聚合

为了对文档级信息以及提及与实体之间的交互进行建模，GAIN 构造了一个异构提及层图（hMG）。

hMG有两种不同类型的节点：提及节点和文档节点。每个提及节点表示一个实体的特定提及。hMG还有一个document文档节点，用于对整个文档信息进行建模。document文档该节点可以作为一个枢纽，与不同的提及进行交互，从而缩短在 hMG图中实体提及之间的距离。

hMG中有三种类型的边：

• 实体内边：同一实体的提及通过实体内边两两相连。对同一实体的不同提及之间的相互作用进行建模。
• 实体间边：两个不同实体的提及如果在一个句子中同时出现，则通过实体间边将这两个提及相连接。这样，实体间的相互作用就可以通过实体间边来建模。
• 文档边：所有提及节点都通过文档边连接到文档节点，因此所有的提及节点都可以通过文档节点和文档中任意其他的一个提及节点相连。以文档节点为轴心，两个提及节点之间的距离最长为2，这样可以更好地建模长距离依赖关系。

hMG构建完之后在图上使用R-GCN进行特征传播，更新节点的表示：

2.3 Entity-level Graph Inference Module 实体图推理模块

在这一部分中，构建一个实体级图（EG）并使用路径推理机制得到关系向量。首先，将引用同一实体的提及合并到实体节点中，以获得EG图中的实体节点。在EG中忽略掉了hMG中的文档节点。对于第