恒源云(GpuShare)_表序编码器的联合实体和关系提取(论文浅谈)

文章来源 | 恒源云社区

原文地址 | 两个都比一个好：表序编码器的联合实体和关系提取

原文作者 | Mathor

---

code

Abstract

​ 对于联合实体关系抽取，许多研究者将联合任务归结为一个填表问题，他们主要专注于学习单个编码器来捕获同一空间内的两个任务所需的信息(一个表抽取实体和关系)。作者认为设计两个不同的编码器捕获这两种不同类型的信息更好，因此本文提出了一种新颖的Table-Sequence编码器，其中两个不同的编码器(Table和序列编码器)被设计成在表示学习过程中相互帮助，本文并证明了两个编码器比一个更有优势。仍然使用表格结构，引入BERT中的attention权重进行表格中元素表示的学习。

1 Introduction

​ 在几种联合抽取的方法中，将NER和RE转化为一个填表问题，对于形成的2D表，表中每个条目捕获句子内两个独立单词的交互，NER任务再被转化为一个序列标签问题，即对角线的条目是标签，而RE被认为是标签表内其他条目的问题；这种方法将NER和RE整合到一个表格中，实现了两个任务之间的潜在有用的交互。

作者认为一张表解决两个问题可能会受到特征混淆的影响（一个任务提取的特征可能与另一个任务的特征一致或冲突，从而导致学习模型变得混乱），其次这种结构没有充分利用到表结构，因为这种方法仍然是将表结构转化为序列，然后使用序列标签方法填表，因此在转化期间2D表中的关键结构信息可能会丢失（图1左下角共享相同的标签）。

​ 针对以上问题，本文提出一种新的方法解决上述限制。使用两种不同的结构（序列表示和表表示）单独表示NER和RE；

通过这种结构不仅可以将这两个单独的表示用于捕获特定于任务的信息，而且作者设计了一种机制使两个子任务进行交互，以便利用NER和RE任务背后的内在联系。

2 Model

2.1 PROBLEM FORMULATION

NER看做序列标注问题，其中gold entity tags $y^{NER}$是BIO；RE看做表格填充任务

​ 形式上，给定输入句子$x=[x_i{]}_{1\le i\le N}$，维护标签表：$y^{RE}=[y_{i,j}^{RE}{]}_{i\le i,j\le N}$

假设从mention $x_{i^b},\dots ,x_{i^e}$​到mention x j b , … , x j e x_{j^b},…,x_{j^e} xj