文章目录
1 简介
论文题目:CUP: Curriculum Learning based Prompt Tuning for Implicit Event Argument Extraction
论文来源:IJCAI 2022
组织机构:华东师范大学
论文链接:https://arxiv.org/pdf/2205.00498.pdf
代码链接:https://github.com/linmou/CUP
1.1 动机
- 事件论元抽取存在两个挑战:长依赖和低数据场景。
1.2 创新
- 第一次使用课程学习完成论元抽取,可以捕捉长依赖和抽取顺序。
- 在不同的学习阶段使用不同的模板进行prompt tuning,可以进一步增强目标论元在低数据场景下的推理能力。
2 方法
模型的整体框架如上图,包括四个不同阶段的课程学习。
2.1 AMR Graph Construction
对文档中的每个句子使用AMR parser得到AMR图(结点为实体,被分成多个token的实体,表示多个接结点的进行合并),然后使用AllenNLP获得共指实体,根据共指实体得到文档级的AMR图。
2.2 Curriculum Learning with Prompts
学习阶段是根据文档AMR图中从给定触发词到目标论元的跳数定义的,可以反映依赖长度和提取难度。包括4个学习阶段:
- Center-based Extraction: 包含触发词的句子表示为中心句,第一阶段集中抽取中心句中的论元,预训练模型使用BART,使用<trg>表示触发词的位置(公式1),然后与prompt模板进行拼接(公式2),然后进行编码,得到 X p X_p Xp(通过抽取论元填充占位符)
![]() |
![]() |
- Neighborhood-based Extraction: 第二阶段抽取中心句和相邻句子中的论元,使用上一阶段抽取的结果作为prompt模板,公式如下
- Document-based Extraction: 第三阶段扩展抽取范围为整个文档,额外引入一个基于图结构的prompt,首先获得包括触发词、中心句中的论元和被抽取的目标论元的最小子图,使用DFS将图转换为序列(公式1),然后将基于图结构的prompt和文本prompt分别与文档进行拼接,进行编码(公式2)。
![]() |
![]() |
- Document-based Extraction without Clues: 最后一个阶段不使用前面阶段抽取的论元作为线索,是全部阶段中最难的,文本prompt使用第一阶段中的人工构建prompt,使用AMR图中触发词和目标论元的最短路径构造图(公式1),最后将基于图结构的prompt和文本prompt分别与文档进行拼接,进行编码(公式2)。
![]() |
![]() |
2.3 Training Objective
使用BART进行编码,解码获得概率分布(公式1),然后计算loss(公式2,C为prompt的长度),在后两个阶段loss为两种prompt的加权求和(公式3)。
![]() |
![]() |
![]() |
2.4 Pipeline Decoding
在推理过程中,使用一个pipeline的解码策略,如上图包括3个步骤,prompt为上一阶段填充占位符的结果,在推理中仅使用文本prompt。
3 实验
实验数据集为RAMS和WikiEvents,数据统计如下:
实验结果如下(为了适应BART的输入长度,WikiEvents数据集进行截断,RAMS数据集选择触发词句子周围的9个句子):
消融实验:
不同触发词-论元距离的实验结果:
低资源下的实验结果: