论文笔记 EMNLP 2022|Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction

1 简介

论文题目：Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction
论文来源：EMNLP 2022
组织机构：华中科技大学
论文链接：https://arxiv.org/pdf/2210.15843.pdf
代码链接：https://github.com/HustMinsLab/BIP

1.1 动机

• 现有的基于prompt-tuning的事件论元抽取方法存在挑战：未使用实体信息；人工构造的verbalizer不是一种好的方法；事件论元交互未被开发。
  

1.2 创新

• 提出一个双向交互的基于prompt的事件论元抽取方法，为了每个论元标签分配一个虚拟的标签(基于语义)，同时设计了三种模板(hard、soft、hard-soft)，在低资源和高资源情形下(ACE 2005)取得SOTA。

2 方法

任务定义：给定一个句子、触发词、事件类型和句子中的实体，得到实体对应的论元角色。

模型的整体框架如上图，包含前向prompt和后向promot，前向promot在模板中使用该实体前面的实体提及和类型(公式1)，然后使用预训练模型编码(公式2)，后向promot在模板中使用该实体后面的实体提及和类型(公式3)，最后将同一个实体的两个置信分数分布融合(公式4)，得到最终的结果

为了解决一个论元角色在不同事件类型中存在不同的定义，为一个论元角色分配多个语义verbalizer(如Entity角色可以被分为Elect:Entity和Meet:Entity，Place未进行分隔)，使用一个虚拟的词表示每个论元角色([mask]预测该虚拟词的概率，即为该标签的概率)，初始化为该论元角色的的语义解释的平均编码，公式如下：

对一个实体拥有多个提及，使用or连接，然后构造3种模板：Hard(人工使用自然语言连接已知的信息)、Soft(在全部已知的信息后面添加可学习的token)、Hard-Soft(使用可学习的token连接已知的信息)

训练时loss为交叉熵：

3 实验

实验数据集为ACE 2005，实验结果如下图：

消融实验：

低资源情况下的表现：

Case Study：

不同prompt的影响：