论文笔记 IJCAI 2022|CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction

1 简介

论文题目：CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction
论文来源：IJCAI 2022
组织机构：华东师范大学
论文链接：https://arxiv.org/pdf/2205.00498.pdf
代码链接：https://github.com/linmou/CUP

1.1 动机

• 事件论元抽取存在两个挑战：长依赖和低数据场景。

1.2 创新

• 第一次使用课程学习完成论元抽取，可以捕捉长依赖和抽取顺序。
• 在不同的学习阶段使用不同的模板进行prompt tuning，可以进一步增强目标论元在低数据场景下的推理能力。

2 方法

模型的整体框架如上图，包括四个不同阶段的课程学习。

2.1 AMR Graph Construction

对文档中的每个句子使用AMR parser得到AMR图(结点为实体，被分成多个token的实体，表示多个接结点的进行合并)，然后使用AllenNLP获得共指实体，根据共指实体得到文档级的AMR图。

2.2 Curriculum Learning with Prompts

学习阶段是根据文档AMR图中从给定触发词到目标论元的跳数定义的，可以反映依赖长度和提取难度。包括4个学习阶段：

1. Center-based Extraction: 包含触发词的句子表示为中心句，第一阶段集中抽取中心句中的论元，预训练模型使用BART，使用<trg>表示触发词的位置(公式1)，然后与prompt模板进行拼接(公式2)，然后进行编码，得到$X_p$(通过抽取论元填充占位符)

2. Neighborhood-based Extraction: 第二阶段抽取中心句和相邻句子中的论元，使用上一阶段抽取的结果作为prompt模板，公式如下
   
3. Document-based Extraction: 第三阶段扩展抽取范围为整个文档，额外引入一个基于图结构的prompt，首先获得包括触发词、中心句中的论元和被抽取的目标论元的最小子图，使用DFS将图转换为序列(公式1)，然后将基于图结构的prompt和文本prompt分别与文档进行拼接，进行编码(公式2)。

4. Document-based Extraction without Clues: 最后一个阶段不使用前面阶段抽取的论元作为线索，是全部阶段中最难的，文本prompt使用第一阶段中的人工构建prompt，使用AMR图中触发词和目标论元的最短路径构造图(公式1)，最后将基于图结构的prompt和文本prompt分别与文档进行拼接，进行编码(公式2)。

2.3 Training Objective

使用BART进行编码，解码获得概率分布(公式1)，然后计算loss(公式2，C为prompt的长度)，在后两个阶段loss为两种prompt的加权求和(公式3)。

2.4 Pipeline Decoding

在推理过程中，使用一个pipeline的解码策略，如上图包括3个步骤，prompt为上一阶段填充占位符的结果，在推理中仅使用文本prompt。

3 实验

实验数据集为RAMS和WikiEvents，数据统计如下：

实验结果如下(为了适应BART的输入长度，WikiEvents数据集进行截断，RAMS数据集选择触发词句子周围的9个句子)：

消融实验：

不同触发词-论元距离的实验结果：

低资源下的实验结果：