[每日一读]EMNLP20:用填表的方式进行实体关系联合抽取

• Paper: [EMNLP2020]Two are Better Than One: Joint Entity and Relation Extraction with Table-Sequence Encoders
• link: https://www.aclweb.org/anthology/2020.emnlp-main.133.pdf
• code: https://github.com/LorrinWWW/two-are-better-than-one

这是一篇关于实体关系联合抽取的工作。关于现有的联合抽取工作，作者提出了两点不足之处:

• Feature Confusiong: 用于同样的特征表示进行NER和RE(关系分类)亮相任务，可能会对模型的学习造成误解；

• 现有的基于Table-Filling方法去完成联合抽取的工作，会将表结构转化成一个序列结构，这样导致丢失了重要的结构信息。

因此本文的工作有以下特点:

• 针对NER和RE,分别学习出不同的序列表示(sequence representations)和表格表示(table representations); 这两种表示能分别捕获任务相关的信息，同时作者还涉及了一种机制使他们彼此交互；

• 保持表格的结构，通过神经网络结构来捕捉二维表格重的结构信息；同时，引入BERT中的attention权重，进行表格中元素表示的学习。

模型的核心部分包括以下模块：

• Text Embedding: 对于一个输入的包含n个words的句子，其词向量、字符向量和BERT词向量的共同构成了每个word的表示。

• Table Encoder: 目标在于学出 N×N 表格下的向量表示，表格第i行第j列的向量表示，与句子中的第i个和第j个词相对应，如Figure1所示。文中使用基于GRU结构的MD-RNN(多维RNN)作为Text Encoder，在更新表格中当前cell的信息时，通过MDRNN融合其上下左右四个方向上的信息，从而利用了表格的结构特点；同时引入当前cell所对应的两个词在Sequence Encoder下的表示，使得Table Encoder和Sequence Encoder之间发生信息的交流；

• Sequence Encoder: Sequence Encoder的结构与Transformer类似，不同之处在于将Transformer中的scaled dot-product attention 替换为了文中提出的 table-guided attention。具体地，将Transformer中计算$g(Q_i,K_j)$的部分，直接替换为对应两个word在表格中的向量表示$T_{i,j}$。由于$T_{i,j}$融合了四个方向上的信息，能够更加充分的捕捉上下文信息以及词与词之间的关系，同时也使Table Encoder和Sequence Encoder之间产生了双向的信息交流。
  

• Exploit Pre-trained Attention Weights: Text Embeddings部分有用到BERT，因此将BERT中各个层上多头attention每个头上的atention权重堆叠起来，得到张量$T^l\in {\mathbb{R}}^{N\times N\times (L^l\times A^l)}$。基于$T^l$ 和 Text Embedding中每个词的表示，构成Table的初始化输入表示。

作者通过在不同数据集上的实验证明了模型的有效性，并通过消融实验进行了相关的分析。

---

了解更多深度学习相关知识与信息，请关注公众号深度学习的知识小屋