事件抽取：Document-level Event Extraction via Parallel Prediction Networks

任务：给定一篇文章，从中提取出一个或多个结构化的事件 Y = { y i } i = 1 k Y=\{y_i\}_{i=1}^{k} Y={yi​}i=1k​ ,其中每个事件$t$事件类型$y_i^t$表示是，包含一系列角色$(r_i^1,r_i^2,...,r_i^n)$，这些角色被论元$(a_i^1,a_i^2,...,a_i^n)$填充。

2.1备选论元识别

给定有$N_S$个句子的文档 D = { S i } i N s D=\{S_i\}_i^{N_s} D={Si​}iNs​​,首先进行编码得到上下文化的表示。$$C_i=Transformer-1(S_i)$$ 给定文档的上下文感知的嵌入表示为 { C i } i = 1 N s \{C_i\}_{i=1}^{N_s} {Ci​}i=1Ns​​。
句子级别的候选论元识别堪为序列标注任务(BIO)，从给定句子中$S_i$得到候选论元 A = { a i } i = 1 N a A=\{a_i\}_{i=1}^{N_a} A={ai​}i=1Na​​。$N_a$是识别出的候选论元的个数。

2.2 文档级别的编码器

第$i$个句子中的论元span$[c_{i,j},...,c_{i,k}]$，执行最大池化，得到论元的局部嵌入$c_i^a\in {\mathbb{R}}_d$。句子的嵌入类似，第$i$个句子$C_i$，执行最大池化，得到句子嵌入$c_i^a\in {\mathbb{R}}_d$。其中$d$是隐藏层的尺寸。
为每个句子添加sentence position嵌入表示句子顺序，如下图。送入transformer后通过多投资注意力机制，建模所有句子和候选论元的交互，得到文档感知的句子和论元表示。

公式表示：$$[H^a;H^s]=Transformer-2(c_1^a...c_{N_a}^a;c_1^s...c_{N_s}^s)$$由于论元在一个文件中可能有很多提及，我们利用最大池化技术将具有相同字符级标记的多个参数嵌入合并为一个嵌入。
最终，合并后的候选论元 A ′ = { a i } i = 1 N a ′ A'=\{a_i\}_{i=1}^{N_{a}'} A′={ai​}i=1Na′​​表示为$H^a\in {\mathbb{R}}^{N_a^{\prime }\times d}$，文档感知的句子表示$H^s\in {\mathbb{R}}^{N_s\times d}$。
在解码之前，我们通过对$H_s$进行最大池化操作，堆叠一个线性分类器，对每个事件类型进行二元分类。

2.3 多粒度解码器

为了解决论元分散、多事件问题提出了多粒度解码器，包括事件解码器、角色解码器、事件to角色解码器三个部分。这三个粒度的解码器都是基于非自回归机制的，基于文档感知的H_a和H_s,平行生成所有可能的事件。
事件解码器
在解码前，解码器需要知道待生成事件的尺寸。文章使用了m个可学习的嵌入作为事件解码器的输入，表示为$Q_{event}\in {\mathbb{R}}^{m\times d}$。其中，m是超参数，表示了生成事件的数目，在实验中被设定为远大于文档中事件数目的平均值。
Event-Decoder是一个非自回归的解码器，用于平行提取所有事件。由N层相同的Transformer层堆叠而成。每一层包含两部分，多头自注意力机制建模事件间的交互，多头跨注意力机制将文档感知的表示$H_s$整合到事件查询$Q_{event}$中。$m$个事件查询解码为 $m$ 个输出嵌入：$$H_{event}=Event-Decoder(Q_{event};H^s)$$其中$H^{event}\in {\mathbb{R}}^{m\times d}$。
角色解码器
role decoder用于平行填充一个事件中的所有角色，建模角色间的交互。一个预测的事件类型 $t$ 有$n$ 个语义角色类型$(r_1,r_2,...,r_n)$，所以 $Q^{role}$ 由 $n$ 个可学习的嵌入组成。与事件解码器相同，自注意力机制建模角色之间的关系，跨注意力机制融合文档感知的候选论元$H^a$表示的信息。$$H^{role}=Role-Decoder(Q^{role};H^a)$$其中，$H^{role}\in {\mathbb{R}}^{n\times d}$
事件to角色解码器
针对不同的事件查询（queries），为了生成多种形式的有相关论元的事件，设计了event-to-role的解码器。建模事件查询$H^{event}$和角色查询$H^{role}$间的交互。
$$H^{e2r}=Event2Role-Decoder(H^{role};H^{event})$$其中，$H^{e2r}\in {\mathbb{R}}^{m\times n\times d}$。

2.4 事件预测

上一阶段得到了m个预测事件，每个事件包含n个角色嵌入。为了过滤掉虚假事件，通过FFN网络做二分类，判断每个事件预测是否为空。$$p^{event}=softmax(H^{event}{W}_e)$$
其中，$W_e\in {\mathbb{R}}^{d\times 2}$是可学习的参数。
对于每个有预定角色的预测事件，通过用$(N_a^{\prime }+1)$类分类器填补候选指数或空值来解码预测的参数(除候选论元表示$H_a$外，附加了一个可学习的嵌入来表示空值)$$P^{role}=softmax(tanh(H^{e2r}{W}_1+H^a{W}_2)\cdot v_1)$$其中， $W_1\in {\mathbb{R}}^{d\times d}$，$W_2\in {\mathbb{R}}^{d\times d}$，$v_1\in {\mathbb{R}}^d$都是可学习参数，$P^{role}\in {\mathbb{R}}^{m\times d\times (N_a^{\prime }+1)}$
在预测网络之后，得到了$m$个事件，$\hat{Y}=({\hat{Y}}_1,{\hat{Y}}_1,...,{\hat{Y}}_m)$,其中，${\hat{Y}}_i=(P_i^1,P_i^2,...,P_i^n)$包含$n$个预测论元，其中$P_i^j=P^{role}[i,j,:]\in {\mathbb{R}}^{N_a^{\prime }+1}$。

2.5 匹配损失

训练过程中，如何将预测的$m$个事件和一系列论元指派给真实的$k$个事件，受启发于匈牙利算法提出了匹配损失，可以在预测和真实事件间产生最优二分匹配。
预测事件($m$是固定的生成事件的数量)：$$\hat{Y}=({\hat{Y}}_1,{\hat{Y}}_1,...,{\hat{Y}}_m)$$
真实事件($k$是文档中的真实事件数量)：$$Y=(Y_1,Y_2,...,Y_k)$$
$m\ge k$，这里$m$是2.4提到的超参数，在代码中表示为num_generated_sets。第$i$个预测事件表示为${\hat{Y}}_i=(P_i^1,P_i^2,...,P_i^n)$。第$i$个真实事件表示为$Y_i=(r_i^1,r_i^2,...,r_i^n)$。
$$\hat{\sigma }=\underset{\sigma \in \Pi (m)}{\mathrm{argmax}}\sum _i^m{C}_{match}({\hat{Y}}_{\sigma (i)},Y_i)$$