《Double Graph Based Reasoning for Document-level Relation Extraction》

• 研究背景

关系抽取即从文本中识别实体之间的语义关系，在各种基于知识的应用中发挥着重要作用，如问答和大规模的知识图构建。已有的方法中大多关注句子级别，它预测单个句子中实体之间的关系，不能识别句子间实体间的关系。然而，句子级别的模型在实践中由不可避免的限制，许多现实世界的关系只能跨句子提取。因此，提取文档级别的关系是全面理解文本知识的必要条件，许多研究者也逐渐将注意力转移到文档级的关系提取上。

在文档级别有效地提取关系存在几个主要挑战。首先，关系中所涉及的主体和客体实体可能出现在不同的句子中。因此，不能仅仅基于一个单独的句子来确定关系。其次，同一个实体可能在不同的句子中被多次提及。为了更好地表示实体，必须聚合交叉句上下文信息。第三，许多关系的识别需要逻辑推理的技巧。这意味着只有当其他实体和关系(通常分布在句子中)被隐式或显式地识别时，才能成功地提取这些关系。

为了应对上述的三个挑战，本篇文章提出了以双图作为特征的图聚合推理网络（GAIN），一种识别长段落中文档级关系的方法。GAIN首先构建了一个异质的mention-level图(MG)以建模文档中不同mention之间的复杂交互关系。它还构建了一个entity- level 图(EG)，在此基础上，作者提出了一种新的路径推理机制来推断实体之间的关系。

• 任务定义

给定文档中有N个句子和大量实体, 表示第i个句子中存在M个单词，指的是属于第i个实体的第j次提及的一组词，任务旨在提取实体集合ε中不同实体之间的关系，即,其中R为预定义的关系类型集合。

句子间关系：当且仅当时，将实体和之间的关系之间的关系定义为句间关系，其中表示这些句子包含实体的提及。

句子内关系：当且仅当时，将实体和之间的关系之间的关系定义为句间关系，其中表示这些句子包含实体ei的提及。

K-hop关系推理：基于现存关系的链，预测关系，其中， 和 是推理链的头实体和尾实体，.

• 图聚合推理网络（GAIN）

GAIN模型包含四个模块：编码模块，mention-level图聚合模块，entity-level图推断模块，分类模块。

整个框架流程如下图所示，首先，原始输入文档经过编码器获得具有上下文信息的单词表示；然后构建第一个包含提及节点和文档节点的mention-level的图，经过 GCN 学习到提及级别的表示；之后构建第二个图：合并提及，获得 entity-level的图，此时实体之间的边就是关系推理过程所需的路径信息；最终将目标关系作为不同类别，通过 MLP 进行多分类获得实体之间的关系。

图一：图聚合推理框架

1. 编码模块

编码部分将一篇含有n个单词的文档D={wi}i=1n转换成向量序列{gi}i=1n。对D中的每个单词wi,拼接其三种嵌入：word embedding；entity type embedding ；coreference embedding：

其中,,.分别表示词嵌入层，实体类型嵌入层，和引用嵌入。ti和ci是命名实体类型和实体 id；对于不属于任何实体的单词，引入None实体类型和id。然后将向量化的词表示送入编码器，以获得每个词的具有上下文信息的表示:

1. Mention-level图聚合模块

为了对文档级别信息以及提及与实体之间的交互进行建模，构造了一个异构mention-level图(MG)。

MG中有两种不同类型的节点:提及节点和文档节点。每个提及节点表示对实体的一次提及。MG还有一个文档节点，用于对整个文档信息进行建模，文档节点起到中枢作用与不同的提及进行交互从而减少文档中提及点之间的距离。

MG中又三种不同类型的边：实体内边，实体间边和文档边。实体内边建模同一个实体的不同提及之间的交互；实体间边连接同时出现在一个句子中的不同的实体的提及，通过提及之间的共现关系建模实体之间的交互；文档边建模文档与所有提及之间的交互，在doc这个中枢节点的作用下，任意两提及之间的距离不超过2，因此克服了长距离依赖问题。

 图构建结束后，在MG上应用图卷积来聚合来自邻居的特征。给定l层的节点u，定义图卷积运算为：

    其中K是不同类型的边，Wk(l)∈Rd×d，bk(l)∈Rd是可训练参数。Nk(u)为第k类边连接节点u的邻居。

  GCN的不同层表示不同抽象层的特征，因此为了覆盖所有层的特征，将每层的隐藏状态连接起来形成节点u的最终表示：

1. Entity-level图推断模块

本节介绍了实体级图（EG）和路劲推理机制。首先，将引用同一实体的点合并为实体节点，从而得到EG中的节点;在EG中不考虑文档节点。对于提到N次的第i个实体节点ei，在EG中用其平均值表示：

然后，我们合并所有连接同一两个实体提及的实体间边，从而得到EG中的边。EG中从ei到ej的有向边的表示定义为:

基于向量化边表示，经过实体eo的头部实体eh和尾部实体et的第i条路径表示为：

  本文还引入注意力机制，使用实体对(eh,et)作为查询，融合eh,et之间不同路径的信息。

其中αi为归一化的注意力权值。因此，模型更加关注有用路劲。有了这个模块，一个实体可以融合来自它的提及的信息来表示，这些信息通常在多个句子中传播。此外，潜在的推理线索由实体之间的不同路径建模。然后，它们可以与注意机制相结合，这样可以考虑潜在的逻辑推理链来预测关系。

1. 分类模块

对于每个实体对eh,et,拼接以下表示：（1）在entity-level图中导出其头部实体eh和尾部实体et,通过比较操作来加强特征，例如，两个实体表示之间的减法绝对值|eh-et|,或者实体表达的对于元素乘法eh⨀et。（2）在mention-level中产生的文档节点表示mdoc帮助聚合跨句子的信息，提供针对文档的全局表示。（3）综合推理路劲信息ph,t.

最后，我们将任务定义为多标签分类任务，并预测实体之间的关系:

其中Wa,Wb,ba,bb为可训练参数，σ为激活函数。本篇文章使用二类交叉熵作为分类损失，以端到端方式训练模型:

其中S表示整个语料库，I(·)表示指示函数。

• 分析与结论

现有的几种方法[1][2][3]利用依赖图来更好第捕获文档特定的特性，但他们忽略了文档中普遍存在的关系推理。最近，也有许多模型被提出来解决这个问题。在研究工作[4]中通过考虑实体级，句子级和文档级的信息，提出了一种分层推理网络，但是它是基于层次网络隐式进行关系推理的。研究工作[5]是最近用于文档级关系推理任务的最强大的系统之一。与研究工作[5]和其他基于图表的关系提取方法相比，本篇文章提出的方法有许多不同的设计，其背后有不同的动机。

首先，本篇文章中，图的构造方法不同。本篇文章中，创建了两个不同级别的独立图，分别捕获远程文档感知交互信息和实体路径推理信息。而在研究工作[5]中将提及和实体放在同一个图中。而且，它们不像图卷积神经网络（GCN）那样进行图节点表示学习，在构造的图上聚合交互信息，而是使用BiLSTMs中的特征来表示节点。

第二，路径推断的过程是不同的。研究工作[5]中使用一种基于步长的方法为每个实体对迭代生成路径，这需要额外的超参数调优开销来控制推理过程。相反，本篇文章使用一种注意机制，在没有额外开销的情况下，有选择地融合实体对的所有可能路径信息。也有一些研究工作[6][7]研究了特定领域的文档级关系推理。然而。他们使用的数据集通常只包含非常有限的关系类型和实体类型。

在文档级别的关系抽取中，抽取句间关系和进行关系推理是具有挑战性的。为了更好地处理文档级关系抽取，本篇文章引入了图聚合与推理网络，该网络以不同粒度的双图作为特征。图聚合推理网络（GAIN）利用一个异构的提及级别图来建模文档中不同提及之间的交互，并捕获文档感知特性。它还使用一个实体级图和一个建议的路径推理机制来更明确地推断关系。在大规模人工标注数据集DocRED上的实验结果表明，GAIN优于以前的方法，尤其是在内容和推理关系场景中。消融研究也证实了我们模型中不同模块的有效性。

参考文献

[1] Chris Quirk and Hoifung Poon. 2017. Distant super-vision for relation extraction beyond the sentence boundary. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: V olume 1, Long Papers, pages1171–1182

[2] Nanyun Peng, Hoifung Poon, Chris Quirk, Kristina Toutanova, and Wen-tau Yih. 2017. Cross-sentencenary relation extraction with graph LSTMs. Transactions of the Association for Computational Linguistics, 5:101–115

[3] Robin Jia, Cliff Wong, and Hoifung Poon. 2019.Document-level n-ary relation extraction with multiscale representation learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics,pages 3693–3704

[4] Hengzhu Tang, Y anan Cao, Zhenyu Zhang, Jiangxia Cao, Fang Fang, Shi Wang, and Pengfei Yin. 2020.HIN: hierarchical inference network for document-level relation extraction. In Advances in Knowledge Discovery and Data Mining - 24th Pacific-Asia Conference, PAKDD 2020, Singapore, May 11-14, 2020,Proceedings, Part I, volume 12084 of Lecture Notes in Computer Science, pages 197–209

[5] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. 2019. Connecting the dots: Document-level neural relation extraction with edge-oriented graphs. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 4925–4936

[6] Patrick V erga, Emma Strubell, and Andrew McCallum.2018. Simultaneously self-attending to all mentions for full-abstract biological relation extraction. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics, pages 872–884

[7] Sunil Kumar Sahu, Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. 2019. Inter-sentence relation extraction with document-level graph convolutional neural network. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4309–431