论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction

1 简介

论文题目：Zero-Shot Transfer Learning for Event Extraction
论文来源：ACL 2018
论文链接：https://arxiv.org/pdf/1707.01066.pdf
代码链接：https://github.com/wilburOne/ZeroShotEvent

1.1 创新

• 将事件抽取定义为generic grounding problem(溯源问题)，映射每一个事件提及到一个在目标事件本体中的具体类型。
• 提出一个可迁移zero-shot的框架，将事件提及和类型映射到同一个语义空间，根据相似性得到相应的类型。不需要人工标注就能应用到未见过的事件类型中。

2 方法

给定一个句子，首先使用AMR parsing获取候选触发词和论元，然后word sense disambiguation (WSD)工具对词义进行消岐和链接到OntoNotes。将映射到OntoNotes上的名词和动词、可以与FrameNet中的动词或名词词汇单元匹配的单词作为候选触发词。触发词在AMR结构上的子集作为候选论元。整个框架如上图，主要包括下面两个部分：

• 触发词和类型结构的组成：对于每个候选触发词t，使用AMR parsing将其结构$S_t$表示为三元组<AMR概念，关系，概念>(如上图中的<dispatch-01, :ARG0, China>),对于目标事件本体中的每个类型y，将其结构表示为二元组<事件类型，论元角色>(如上图中的<Transport_Person, Destination>)，事件提及结构$<w_1,\lambda ,w_2>$和事件类型结构$<y,r>$的向量表示公式如下：

• 触发词和论元分类：输入为一个元组序列，经过卷积和max池化得到新的向量表示，然后拼接相应词向量进行相似性计算，使用hinge ranking loss进行优化，公式如下：

为了防止过拟合，将一些负样本(没有类型)加入训练过程，使用rank最高的类型(下面公式的$y^{\prime }$)计算loss，触发词loss和论元loss的公式分别如下：

在zero-shot情况下，对于未见过类型的分类公式如下($\hat{y}(t^{\prime },k)表示对t^{\prime }预测的第k个类型)$：

3 实验

实验数据集为ACE 2005，数据统计和实验结果如下(A、B、C、D表示选择的事件类型数分别为1，3，5，10)：
为了评估模型在相似和不同的未见类型上的性能，在Justice事件的四个子类型事件(Arrest-Jail,
Convict, Charge-Indict, Execute)训练模型,在不同类型事件上的效果如下图：

人工构建一个新的事件本体，包含33个ACE事件类型和论元角色和1161个FrameNet中的frame，使用上述实验配置D中的数据进行训练，对比的方法使用全部的其余ACE事件进行训练，在150个测试句子上的实验效果如下：

下图为LSTM的学习曲线，可以发现不使用任何未见事件的数据，提出的方法也能得达到不同的性能。
AMR的消融实验如下图：