1 简介
论文题目:Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding
论文来源:ACL 2022
组织机构:弗吉尼亚理工学院暨州立大学
论文链接:https://arxiv.org/pdf/2110.07476.pdf
代码链接:https://github.com/VT-NLP/Event_Query_Extract
1.1 创新
- 将事件抽取定义为query-and-extract范式,通过利用事件类型和论元角色之间的语义,提高事件抽取的性能,同时模模型在新事件类型和跨本体迁移方面具有泛化性。
2 方法
模型的整体框架如上图,主要包括触发词检测和论元抽取两部分:
2.1 触发词检测
对于每个事件类型t,计算被标注为此类型的触发词数量与在训练预料中的词数量的比例,以此比例从训练语料中选取topK标注触发词。然后以句子和触发词(包括事件类型)为输入,然后通过BERT编码,然后通过attenton机制(使用cos相似度计算权重)建立token和事件类型的联系,使用attention机制计算上下文之间的联系,然后进行二分类(BERT输出的token编码、两个attention机制得到的向量、词性标注 P i P_i Pi),目标函数为交叉熵,具体公式如下:
|
|
|
|
|
2.2 论元抽取
输入为句子和论元角色,使用另一个BERT进行编码,同时使用BERT-CRF模型识别实体,得到实体 E = { e 1 , e 2 , . . . , e M } E=\{e_1,e_2,...,e_M\} E={e1,e2,...,eM},然后将实体表示和上下文表示r(触发词)进行拼接,然后通过点乘计算实体和论元角色之间的相似性,然后使用双向attention获得实体与角色之间的联系,同时使用attention分别计算实体之间的联系和论元之间的联系,最后拼接到一起进行二分类,,目标函数为交叉熵,具体公式如下:
|
|
|
|
|
|
|
|
3 实验
实验数据集为ACE 2005和ERE-EN,实验结果如下图:
Zero-Shot事件抽取的性能:
跨本体迁移的实验结果:
消融实验: