1 简介
论文题目:Event Extraction as Machine Reading Comprehension
论文来源:EMNLP 2020
组织机构:中科院自动化所
论文链接:https://aclanthology.org/2020.emnlp-main.128.pdf
代码链接:https://github.com/jianliu-ml/EEasMRC
1.1 动机
- 目前基于分类的事件抽取方法遭受数据不足问题。
1.2 创新
- 将事件抽取定义为机器阅读理解问题,提出了一个无监督的问题生成方法,生成的问题是主题相关的和依赖上下文。
2 方法
模型的整体框架如上图,主要包括三个部分:事件触发词抽取、无监督问题生成、事件论元抽取。
2.1 事件触发词抽取
使用"[EVENT]“作为问题指令,在ACE数据集中95%的触发词都是单个词,因此使用分类的方法抽取触发词,将”[EVENT]"与句子拼接,得到编码表示,最后进行分类。
2.2 无监督问题生成
每个问题包括两个部分:问题主题和问题风格的事件陈述。
- 问题主题生成:将语义角色分为不同的角色,如下图:
- 问题语境化:该部分生成剩下的问题风格的事件陈述,定义该部分为无监督的翻译任务,映射叙述性的陈述(来源Wikipedia)转换为问题风格的陈述(来源https://question.com/),包括两个模型:
P
S
→
Q
(
q
s
∣
s
)
P_{S{\rightarrow}Q}(q_s|s)
PS→Q(qs∣s)和
P
Q
→
S
(
s
q
∣
q
)
P_{Q{\rightarrow}S}(s_q|q)
PQ→S(sq∣q),联合训练这两个模型在:域内自编码、去噪自编码和跨域在线回译(如下图),在推理阶段,触发词window内的词作为输入,计算问题风格的陈述
q
s
x
q_{s_x}
qsx,公式如下:
2.3 事件论元抽取
使用BERT模型,输出为问题和文本的拼接: “[CLS] q [SEP] c”,为了加强表示,q和c共有的词使用相同的embedding(公式1),由于14%的语义角色有零个或者多个论元,事件论元抽取定义为基于span的算法,首先预测开始和结束位置(公式2),[SEP]位置表示无论元,概率大于[SEP]的位置构造候选answers,然后使用启发式的规则(开始和结束的相对位置、长度限制、概率阈值)得到answers(如下图),最后使用ground-truth确保answers有正确的边界。
![]() |
![]() |
训练时,首先在MRC数据集(SQuAD 2.0)上预训练(公式1、2),然后在事件抽取数据集上微调(公式3)。
![]() |
![]() |
![]() |
3 实验
实验数据集为ACE 2005,预训练模型使用BERT-Large, 使用ground-truth entity的结果如下图:
不使用ground-truth entity的结果如下图:
在不同数量数据的实验结果如下图:
Zero-Shot下的实验结果:
不同数据量的角色的实验结果:
错误分析: