1 简介
论文题目:OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction
论文来源:COLING 2022
组织机构:武汉大学
论文链接:https://arxiv.org/pdf/2209.02693.pdf
代码链接:https://github.com/Cao-Hu/OneEE
1.1 动机
- 传统的事件抽取方法不能解决重叠和嵌套的事件抽取,或者使用多个步骤解决,存在错误传播。
1.2 创新
- 提出一种新的标注策略,映射事件抽取为word-word关系识别任务。
- 提出一个one-stage模型,可以有效地并行提取重叠和嵌套事件抽取的word-word关系。
2 方法
给定文本和事件类型,抽取span关系S和角色关系R,具体如下:
- S:指向触发词(S-T)或者论元(S-A)的开始token( s i s_i si)和结束token( s j s_j sj)
- R:表示该token( s j s_j sj)在包含token( s i s_i si)的触发词事件中的角色为R-*,*表示具体的论元角色类型。触发词的每个token与论元的每个token均是这种关系。
模型的整体框架如上图,包括3个部分:
- Encoder Layer:使用BERT进行编码,得到 H = { h 1 , h 2 , . . . . , h N } H=\{h_1,h_2,....,h_N\} H={h1,h2,....,hN}
- Adaptive Event Fusion Layer:首先使用注意力机制融合文本编码和事件类型编码(随机初始化),获得全局事件编码(公式1),然后使用门控机制(公式2)融合上下文编码和全局事件编码(公式3第一行),最后使用门控机制融合上一阶段的输出和目标事件类型信息(公式3第二行)
|
|
|
- Joint Prediction Layer:为了融入相对距离信息和word对表示,使用基于距离的打分函数(公式1, R i R_i Ri和 R j R_j Rj是距离编码),获得span分数和role分数(公式2)。
|
|
|
训练时,设置阈值(关系pair得分大于该阈值,其他pair得分小于),loss为circle loss的变体(公式1),总loss为公式2。
|
|
推理如下图,包括4个阶段,1)得到触发词或者论元的开始和结束索引。2)获得触发词和论元span。3)根据R-*匹配触发词和论元。4)得到事件结构。
3 实验
实验的数据集为FewFC(中文金融事件抽取,重叠事件抽取,10种事件类型,18种论元角色),Genia11(生物数据集,重叠事件抽取,9种事件类型,10种论元角色),Genia13(生物数据集,重叠事件抽取,13种事件类型,7种论元角色),数据统计如下图:
实验结果如下图:
在重叠或嵌套数据上的实验结果:
消融实验:
推理速度:
不同标注策略对结果的影响:
事件数量对结果的影响: