论文笔记 ACL 2022|Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extract

1 简介

论文题目：Prompt for Extraction? PAIE: Prompting Argument Interaction for Event Argument Extraction
论文来源：ACL 2022
组织机构：南洋理工大学
论文链接：https://aclanthology.org/2022.acl-long.466.pdf
代码链接：https://github.com/mayubo2333/PAIE

1.1 动机

• 在事件论元抽取任务中，先识别出候选span，再进行分类，存在错误传播问题。
• 基于问答的方法只能一对一的预测，基于生成的方法顺序预测会降低长距离和更多论元的性能。

1.2 创新

• 研究了抽取任务的prompt tuning，以及用于最佳sapn分配的联合选择方案，在句子级、文档集、few-shot情况下模型是有效和高效率的。

2 方法

模型的整体框架如上图，主要包括prompt创建、span选择器解码和span预测三个部分。

2.1 Prompt Creation for EAE

为每个事件类型e创建prompt，包含该事件类型的全部角色，同时允许相同的角色有多个slot(数量为训练集该事件类型的最大重复角色数量)。创建prompt有三种方式(示例如下图)：

• Manual Template: 人工构造模板，将角色联系起来。
• Soft Prompt: 使用可学习、特点角色的token，将角色联系起来。
• Concatenation Template: 直接将角色拼接起来。
  

2.2 Role-specific Selector Generation

给定上下文和prompt，该模块生成具体角色的span选择器，使用BATR作为编码器和解码器，首先将上下文中的触发词使用<t>触发词进行分割(公式1)，将上下文进行编码，上下文和prompt分别进行解码(公式2)，对于第k个slot，进行平均池化得到角色特征${\psi }_k$，最后得到具体角色的spn选择器(公式3)：

2.3 Learning with Prompted Span Selector

给定上下文和span选择器集合，抽取出对应的论元span(无论元表示为(0,0))，首先计算token被选为开始和结束的分布(公式1)，然后进行softmax(公式2)，loss为交叉熵(公式3)。由于一个角色可能存在多个论元，是一个二分图匹配问题，使用Hungarian算法，得到全局最优的匹配。

在推理时，设置span长度阈值为l，计算长度小于l和(0,0)的最大分数(公式1)，然后取最大值(公式2)。

3 实验

实验的数据集为ACE 2005、RAMS、WIKIEVENTS，实验结果如下图：

消融实验：

不同预训练模型的效果如下(PAIEE不将上下文和prompt分开编码和解码)：

不同生成prompt方式的效果如下：

距离触发词不同距离的论元的实验结果如下：

先前方法中不同论元数目的阈值对实验效果的影响：

相同角色的论元数目的实验结果如下：

Few-shot下的实验结果：

推理速度：