【论文学习DocuNet】Document-level Relation Extraction as Semantic Segmentation（2021）

【论文学习】Document-level Relation Extraction as Semantic Segmentation（2021）

---

前言

提示：通过预测实体级关系矩阵来捕捉局部和全局信息，与计算机视觉中的语义分割任务并行。

创新点：.提出一个U型网络，编码器来捕捉实体的上下文信息，再利用U型分割模块来捕获三元组之间的全局相互依赖性。使用基于相似函数策略来计算实体之间的相关性

---

一、简介

为了捕捉多个三元组之间的依赖关系，将文档级RE任务表述为实体级分类问题，也称表格填充。
他们提出一个文档U形网络（DocuNet)的模型(来捕获文档级RE的三元组之间的本地上下文信息和全局相互依赖性），将文档级RE表述为语义分割。具体来说，用一个编码器模块来捕获实体的上下文信息，并引用一个U形分割模块来捕获图像样式特征图上的三元组之间的全局相互依赖性。
图2：每个单元格属于一种关系类别。
U-Net，由一个用于捕获上下文的收缩路径和一个能够实现精确定位的对称扩展路径组成。

二、Methodology方法

1. Preliminary 初步

定义一个矩阵Y=[N X N], Y（实体级关系矩阵）里的元素表示实体之间的关系类型。得到Y的输出，通过实体到实体的相关性估计获得特征图，并将特征图作为图像。

2.Encoder Module

在开头和结尾处插入特殊符号,来标记实体位置。

hi是标记xi的嵌入，有些文档超过512，便利用动态窗口对整个文档进行编码，对不同窗口的重叠标记的嵌入进行平均以获得最终表示。
对于矩阵中的每个实体ei，相关性由D维特征向量F 来捕获。

计算F 有两种策略：
1.基于相似性，通过实体之间的元素相似性、余弦相似性和双线性相似性的运算结果拼接而成。

2.基于上下文

a为实体的注意力权重，A为令牌对第i个实体的重要性，H是文档嵌入，W1，W2是可学习的权重矩阵，K为注意力的头数。

3.U-shaped Segmentation Module

关系矩阵F 作为D通道图像，N为最大数量的实体。

两个带有跳跃连接的上采样块和两个下采样块，下采样块有两个后续的最大池化和单独的卷积模块

4.分类模块

Y为实体对表示，隐藏表示Z

总结

提出一个文档U形网络（DocuNet)，该模型将RE表述为语义分割。给定实体对之间的相关特征作为图像，模型将每个实体对的关系类型预测为像素级掩码。具体来说，引入一个编码器模块来捕获实体的上下文信息，并引用U形分割模块来捕获图像样式特征图上的三元组之间的全局相互依赖性。