【论文学习SSAN2021】Entity Structure Within and Throughout

Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction

---

创新点

将结构依赖纳入编码网络和整个系统。在统一框架下制定实体结构。
将文档级文本中展示的各种提及依赖项汇总到一个统一的框架里。

SSAN（结构化自注意网络）

在每个自注意力构建块内设计两个替代转换模块，产生注意力偏差，从而自适应的规范其注意流。

一、方法

实体结构描述实体实例在文本上的分布以及他们之间的依赖关系。两种关系：
1.共现结构cooccurrence structure：两个提及是否存在于一个句子中。
将文档分割成句子，将其作为展示提及交互的最小单位。True and False表示intra and inter 句子内和句子间。

2.共指结构 coreference structure：两个提及是否指同一实体。
Ture 表示两个提及指的是同一个实体。False表示一对不同的实体，把他们分为coref 和 relate

实体提及和句内非实体（NE）表示为intraNE，其他归类为NA。
set: {intra+coref, inter+coref, intra+relate, inter+relate, intraNE, NA}

1.SSAN

SSAN 继承了transformer编码器的架构，用两个替代转换模块来代替self-attention模块。S = {sij }来表示token标记序列的结构。sij ∈{intra+coref, inter+coref, intra+relate, inter+relate,intraNE, NA}，来表示from xi to xj 的依赖关系。
这样就从提及到令牌了。

2、Transformation Module

为了将离散的s合并到端到端可训练的深度模型中，将s实例化具有特定参数的神经层。由s组成的每个输入结构S，都有相应层参数组成的结构化模型。

3、SSAN for Relation Extraction

论文地址：https://arxiv.org/pdf/2102.10249.pdf