1 简介
论文题目:Event Extraction as Multi-turn Question Answering
论文来源:EMNLP 2020 Findings
论文链接:https://aclanthology.org/2020.findings-emnlp.73.pdf
1.1 动机
将事件抽取定义为分类问题,存在下面两个问题:
- 无法对标签中的语义进行建模,也无法捕获它们之间丰富的交互信息。
- 泛化能力低,不能生成新的事件类型或者论元角色。
1.2 创新
- 提出一个多轮的问答框架用于事件抽取,可以充分利用触发词、事件类型和论元之间的交互信息,同时多轮的策略可以捕捉相同事件类型中不同论元角色之间的依赖。
2 背景知识
将序列定义为C =[<CLS>;Q;<SEP>;P; <SEP>](Q为问题,P为文本),然后经过BERT编码,本篇论文使用两种类型的机器阅读理解(MRC)任务:
- 抽取式(答案为文本中的连续span),由于一个句子可能包含多个触发词或者论元,因此对每个token进行BIO标注,进行3分类预测每个token的标签,公式如下:(
O
i
O_i
Oi为BERT的输出)
2. yes/no式(答案为yes或者no),使用BERT中[CLS]的输出,进行二分类。
3 方法
模型的整体框架如上图,主要分为3部分:
- 触发词识别:将问题定义为Which word is the trigger word? 使用抽取式MRC抽取出触发词。
- 触发词分类:将问题定义为The trigger word is <trigger> <trigger position>, <event type>, <argument roles>?(分别为触发词、触发词在文本中的位置、事件类型、该事件类型全部的论元角色)使用yes/no式回答是否该触发词为此事件类型。
- 论元抽取:将问题定义为 <trigger><trigger position>.<event type>,<argument role>? ,将论元抽取定义为多轮的问答,使用抽取式MRC抽取出论元。为了建模同一个事件中不同论元角色之间的依赖关系,对每一个token使用一个历史答案编码,表示该token是否出现在以前的答案中。
4 实验
实验数据集为ACE 2005,实验结果如下图:
消融实验结果如下图(QAEE为单轮问答,独立抽取论元、rnd表示抽取论元角色的顺序随机、tri表示在论元抽取中移除了触发词和触发词位置信息),可以发现MQAEE效果最好(论元角色顺序为QAEE在验证集中的分类准确率顺序)。
轮数的影响:
case study:
模型在13-way 1-shot和13-way 5-shot情况下的泛化能力:
5 总结
通过问题模板建模标签之间的交互信息,在论元抽取中通过多轮问答的方式建模论元之间的交互信息。