论文笔记 EMNLP 2020|Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument

1 简介

论文题目：Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument Extraction
论文来源：EMNLP 2020
论文链接：https://arxiv.org/pdf/2010.13391.pdf

1.1 创新

• 同时使用句法和语义结构，以帮助在论元抽取中学习到高效的向量表示，使用Graph Transformer Networks(GTN)对这两种结构进行融合。
• 为了提高GTN的泛化性，防止过拟合，使用了Information Bottleneck，在loss函数中加入了互信息。

2 方法

模型的整体框架主要分为下面四个部分：

• Sentence Encoding: 每个token被表示为bert编码向量和到论元、触发词的距离编码，然后经过BiLSTM进行得到$H=h_1,...,h_N$
• Structure Generation: 此模块包括句法结构生成和语义结构生成。
  句法结构生成：句法结构依赖树$A^d$对触发词和候选论元不可知，为了解决这个问题，根据触发词和候选论元到其他词的路径长度，提出两个特殊定制的句法结构。对于候选论元，首先计算候选论元到其余词的距离$d_i^a$,然后通过查表映射为${\hat{d}}_i^a=D[d_i^a]$,然后生成一个论元句法结构 A a = { s i , j a } i , j = 1.. N A^a={\{s_{i,j}^a\}}_{i,j=1..N} Aa={si,ja​}i,j=1..N​其中$s_{i,j}^a$的计算公式如下,同理可以得到触发词句法结构 A e = { s i , j e } i , j = 1.. N A^e={\{s_{i,j}^e\}}_{i,j=1..N} Ae={si,je​}i,j=1..N​
  $$s_{i,j}^a=sigmoid(FF([{\hat{d}}_i^a,{\hat{d}}_j^a,{\hat{d}}_i^a\odot {\hat{d}}_j^a,|{\hat{d}}_i^a-{\hat{d}}_j^a|,|{\hat{d}}_i^a+{\hat{d}}_j^a|]))$$
  语义结构生成：语义结构利用句子中$w_i$和$w_j$的上下文语义来学习一对单词$(w_i;w_j)$的重要性得分。语义结构 A s = { s i , j s } i , j = 1.. N A^s={\{s_{i,j}^s\}}_{i,j=1..N} As={si,js​}i,j=1..N​的计算公式如下(左式)，左式对触发词和候选论元不可知，因此使用右式加入候选论元和触发词的上下文语义信息。

• Structure Combination：此模块对上述模块的不同结构$A=[A^d,A^a,A^e,A^s]$进行融合,首先添加一个identity矩阵，$A=[A^d,A^a,A^e,A^s,I]=[A_1,A_2,A_3,A_4,A_5]$,Graph Transformer Networks(GTN)生成C个通道，每个通道M个中间结构$Q_1^i,Q_2^i,...,Q_M^i$，在GTNs中$Q_j^i$的计算公式为$Q_j^i={\sum }_{v=1..5}{\alpha }_{j,v}^i{A}_v$,为了在第i个通道中捕捉multi-hop路径，令$Q^i=Q_1^i\times Q_2^i\times ...Q_M^i$,然后使用每个结构进行GCN，公式如下，此时每个token的表示为$h_i^{\prime }=[h_i^{-1,G},h_i^{-2,G},h_i^{-3,G},...,h_i^{-C,G}]$,然后令R=[h’_a,h’_e,MaxPool(h’_1,h’_2,…,h’_N)],最后进行分类。
  
  loss函数为：${\mathcal{L}}_{pred}=-P(y|W,a,t)$
• Model Regularization: GTN模型的高表示学习能力可能导致仅记住特定于训练数据的信息(即过拟合)。因此将GTN模型看作Information Bottleneck (IB)，最小化GTN产生的向量$H^{\prime }=h_1^{\prime },h_2^{\prime },...,h_N^{\prime }$和BiLSTM产生的句子编码H=h_1,h_2,…,h_N,为了便于计算互信息，首先利用max-pooling操作令$h=MaxPool(h_1,h_2,...,h_N)$,$h^{\prime }=MaxPool(h_1^{\prime },h_2^{\prime },...,h_N^{\prime })$。由于它们都是高维向量，计算量较大，因此使用mutual information neural estimation方法估计互信息，通过对抗学习可变鉴别器的损失函数估计互信息，互信息被定义为h和h’两个向量的联合和边缘分布的KL散度，取样[h,h’]作为正例，$[h,\hat{h})$($\hat{h}$为其他句子的BiLSTM编码)为负例，然后经过两层全连接层D进行分类，D的损失函数作为互信息的估计，公式如下：
  
  总loss为：$\mathcal{L}={\mathcal{L}}_{prec}+{\alpha }_{disc}{\mathcal{L}}_{disc}$

3 实验

使用数据集为ACE 2005和TAC KBP 2016，实验结果如下图：


消融实验结果：



在不同长度句子中的实验结果：