论文笔记 ACL 2021|Document-level Event Extraction via Parallel Prediction Networks

1 简介

论文题目：Document-level Event Extraction via Parallel Prediction Networks
论文来源：ACL 2021
论文链接：https://aclanthology.org/2021.acl-long.492.pdf
代码链接：https://github.com/HangYang-NLP/DE-PPN
非官方代码：https://github.com/Spico197/DE-PPN

1.1 创新

• 提出一个编码-解码模型进行文档级事件抽取，分别基于文档级别的编码和多粒度的解码。
• 介绍一种匹配损失函数用于训练端到端模型，它可以加强全局优化。

2 方法

模型的整体框架如上图所示，分为下面5部分。

1. 候选论元识别：首先使用第一个Transformer对句子进行编码，然后以序列标注的形式进行句子级的候选论元识别。
   
2. 文档级别编码：实现对候选论元和句子编码进行max-pooling，然后经过第二个Transformer建模全部的句子和论元之间的关系(句子的编码中加入位置编码)。然后对$H^s$进行max-pooling操作，在对每个事件类型进行二分类，进行事件类型分类。
   
3. 多粒度解码：多粒度的编码器包括三个部分：事件编码器、角色编码器、事件-角色编码器。
   在事件编码器中设置m为生成事件的数量(大于文档中的平均数量)，其中$Q^{event}$为事件query。
   
   在角色编码器中设置n为角色类型的数量(大于文档中的平均数量)，其中$Q^{role}$为角色query。
   
   在事件-角色编码器中，建模事件查询和论元查询的关系。
   
4. 事件预测：使用下面公式过滤虚假的事件，进行二分类(非空，空)。
   
   使用下面公式对论元进行分类($N_a^{\prime }+1$分类)，
   
   得到m个事件$\hat{Y}=({\hat{Y}}_1,{\hat{Y}}_2,....,{\hat{Y}}_m)$，其中每个事件包含n个预测论元。${\hat{Y}}_i=(P_i^1,P_i^2,...,P_i^n)$。
5. 匹配loss函数：定义双向匹配的损失公式如下：
   $C_{match}$公式如下，其中$judg{e}_i$为判断事件i是否为空，
   
   则损失函数如下：
   
   最终的损失函数如下(候选论元识别、事件类型分类)：
   

3 实验

数据集为ChFinAnn，实验结果如下图：

在不同发散程度的论元情况下的实验结果：

单事件和多事件实验结果：

消融实验的实验效果：

不同解码层数的实验效果：

不同事件生成数量的实验效果：