论文浅尝 | 使用循环神经网络的联合事件抽取

余博涛，南京大学计算机科学与技术系，硕士研究生

---

论文连接：http://www.aclweb.org/anthology/N16-1034

发表会议：NAACL-HLT 2016

摘要

事件抽取（event extraction）是信息抽取中一个特别具有挑战性的问题。针对该问题的最先进的模型要么应用流水线框架（pipelined framework）的卷积神经网络（convolutional neural networks），要么采用通过具有丰富的局部和全局特征进行结构化预测（structured prediction）的联合架构（joint architecture）。前者基于连续和泛化的单词表示，能够从数据中自动学习隐藏特征表示，而后者则能够减缓流水线方法的错误传播问题，并通过离散结构来利用事件触发词（trigger）和论元角色（argument role）之间的相互依赖关系。在本文的工作中，我们提出了一个双向循环神经网络（bidirectional recurrent neural networks，bidirectional RNN）的联合框架来进行事件提取的方法，从而受益于前面所述的两个模型的优点，并解决现有方法中固有的问题。我们系统地研究了此联合模型的不同记忆特征（memory features），并验证该模型在ACE 2005数据集上达到了最好的性能。

模型介绍

1.     概览

文章所提出的模型是基于ACE所定义的事件抽取任务，该任务包含4个子任务：触发词检测（找出句子中代表事件发生的词）、触发词分类（将触发词分类到预定义的8种类型、33种子类型中）、论元检测（检测事件的参与元素）和论元角色分类（将论元分类到预定义的35种论元角色中）。

本文对事件抽取任务建模如下：将一个句子记为，其中为句子中第个token，即为句子长度；将该句中的实体提及（entity mention）记为，其中是实体提及的数量并且可以为0，它包含实体在句子位置和实体类型的信息；将实体提及的最后一个词在句中位置的索引记为。对于句子中的每个，我们需要预测其事件类型，如果是我们所关心的事件的触发词，则继续预测每个实体提及关于该事件（触发词）的论元角色。因此，事件抽取可定义为分别针对触发词和触发词-论元对的分类问题。

本文所构建的模型如图1所示，主要分为编码（encoding）和预测（prediction）两个阶段。其中编码阶段使用RNN来获得句子的更抽象的表示，而预测阶段则是使用这个表示来同时预测事件触发词子类型和论元角色。

2.     编码

2.1   句子编码

该阶段将以下三个向量串联，将每一个token 转换成一个实数向量：

1) w_i 的词嵌入（word embedding）向量

通过查询预训练的词嵌入表获得。

2) w_i 的实体类型嵌入（entity type embedding）向量</