Document-Level Relation Extraction with Reconstruction

pig774

已于 2022-03-09 19:35:12 修改

阅读量1.7k

点赞数

分类专栏：论文阅读-NLP 文章标签：知识图谱深度学习人工智能

于 2022-03-08 20:12:04 首次发布

本文链接：https://blog.csdn.net/weixin_62321421/article/details/123352089

版权

论文阅读-NLP 专栏收录该内容

6 篇文章 2 订阅

订阅专栏

http://arxiv.org/abs/2012.11384 aaai 2021

4.1 Heterogeneous Graph Construction

5.1 Meta Path of Entity Pair

5.1.1 目的

5.2 Path Reconstruction

5.2.1 目的

5.2.2 步骤

5.3 Training with Reconstruction Loss

5.3.1 目的

5.3.2 步骤

5.4 Inference with Path Reconstruction

5.4.1 目的

5.4.2 步骤

6 模型的结果

1 摘要

图结构在过去几年中在文档级关系抽取任务有极大的成就。然而，目前的graph representation通常会对所有的实体对进行关系信息的建模，而不管这些实体对是否真正地存在关系。因此，这些没有关系的实体对会分散encoder-classifier DocRE对有关系的实体对的注意力。

为了缓解这个问题，我们提出一个新型的encoder-classifier-reconstructor model。这重构器reconstructor设法从graph representation中重构路径依赖关系，以确保所提出的DocRE模型更加关注在训练中对具有关系的实体对进行编码。此外，重构器被视为一个关系指示器，在推理(测试)过程中辅助关系分类，这可以进一步提高DocRE模型的性能。

在训练阶段，将Classifier的损失和Reconstructor的损失联合训练

在推理(测试)阶段，将Classifier的概率和Reconstructior的概率联合考虑，作为最终的实体对的关系r 的概率

2 动机

传统的图结构模型是对所有的实体对进行信息的建模，而不管这些实体对有没有关系，因此这样会分散模型对有关系的实体对的注意。因此，我们在原有的模型基础上，提出了重构器，重构器的目的是使存在关系的实体对之间的路径依赖更强，最终通过定义的损失函数，可以得到实体对之间的路径存在的可能性，若路径存在可能性越大，说明该实体对之间存在关系的概率越大，损失越小。这样设计，我们就可以使重构器通过学习得来的权重参数来重构实体对之间的路径依赖强度，存在关系的强度大，从而来更加关注存在关系的实体对。因此，重构器被视为一个关系指示器，在推理过程中辅助关系分类。

3 亮点

在原有模型的基础上添加了重构器，对实体对之间的路径进行重建，使存在关系的实体对之间的路径概率值大，使模型更加关注存在关系的实体对，提高模型的关系分类的性能。

4 原先的模型

4.1 Heterogeneous Graph Construction

4.1.1 目的

构造异构图；得到结点的embedding

4.1.2 步骤

用BiLSTM对输入的文档进行编码，得到文档的上下文表示
结点：三种结点：提及结点，实体结点，句子结点，每个结点的embedding是它所包含的token的embedding的平均值，总共N个结点 V =
边：六种边：MM,MS,ME,SS,ES,CO ,用N*N的矩阵E表示边
Heterogeneous Graph G={V, E}

4.2 Encoder

4.2.1 目的

对异构图的结点进行encode，通过原先结点的embedding得到最终的结点的embedding

4.2.2 步骤

每个结点都要经过L层的推理，得到最终的结点表示

最终的N个结点的embedding表示为：

4.3 Classifier

4.3.1 目的

计算实体对的存在关系 r 的概率，然后通过定义的损失函数，计算损失值

4.3.2 步骤

将每个实体对的两个结点的embedding放入多层感知机中，然后通过sigmoid函数计算实体对是否有关系 r 概率值
根据下面定义的损失函数，计算损失值

5 Methodology 新提出的方法

这部分是对原有的模型加入一个重构器的部分，就是对路径进行重建

在训练阶段，将Classifier的损失和Reconstructor的损失联合训练

在推理(测试)阶段，将Classifier的概率和Reconstructior的概率联合考虑，作为最终的实体对的关系r 的概率

5.1 Meta Path of Entity Pair

5.1.1 目的

介绍实体对之间存在的路径种类，总共有三种：

Meta Path1 of Pattern Recognition:EM◦M M◦EM, for example node sequence{7,3,4,8} in Figure 1
Meta Path2 of Logical Reasoning:EM◦M M◦CO◦M M◦EM, for example node sequence
{7,3,4,5,6,9} in Figure 1
Meta Path3 of Coreference Reasoning:ES◦SS◦ES,for example node sequence{7,1,2,9} in Figure 1

实际上，所有实体对都至少有三个元路径中的一个。我们根据优先级选择一种元路径类型，meta-path1>meta-path2>meta-path3。通常，元路径对应的实例路径可能存在多个，我们选择文档中首先出现的实例路径。

5.2 Path Reconstruction

5.2.1 目的

去构造每个实体对之间的路径依赖的概率公式，使存在关系的实体对之间的路径的存在可能性大，通过该方法来学习构造器的权重参数。去计算实体对之间路径存在的可能性

5.2.2 步骤

对于每个实体对，选择一个实例路径作为路径依赖关系重建的监督。换句话说，也就是说每个目标对之间只有一条监督路径φn={vb1,vb2,· · ·,vbC}，vbC是路径结点的数量
为了去构造每个实体对的路径依赖，我们将构造器当作序列生成模型，我们利用LSTM去对我们所选择的监督路径中每个结点进行编码，得到结点的隐藏状态（其中 $q_{b_{c}-1}$ 为Encoder模块中的结点的embedding， $P_{b_{c}-1}$ 为路径中上一个结点的隐藏状态），Note that pb0 is initialized as the transform of oij, since it plays a key role in classification.
将 $P_{b_{c}}$ 传入softmax层中，去计算结点 $V_{b_{c}}$ 在这条路径上的概率
此外，还计算路径上各个结点在这条路径上的概率
最后，这条路径存在的概率就等于各个结点的概率相乘