论文笔记|ACL2016|Event Nugget Detection with Forward-Backward Recurrent Neural Networks

---

1.简介

论文题目： Event Nugget Detection with Forward-Backward Recurrent Neural Networks
论文来源：ACL2016
论文链接：https://aclanthology.org/P16-2060/

2.动机

• 传统的事件检测只关注单词，解决事件检测忽略短语的情况

3.创新

• 第一次尝试使用RNN进行短语|单词进行事件检测
• 提出了一个基于前后循环神经网络（FBRNN）事件检测

4.方法

设x = [w0, w1，…]做-个句子。我们首先复习每一个单词和短语，然后启发式地看
展开-组事件候选触发词。接下来的任务是预测每一个给定句子的候选触发词，它是否是一个事件，如果是，它的类型。对于每个事件候选触发词，它由一个连续的文本跨度[wi, …]， 我们把句子分成三部分:左上下文[w0，…，wi-1,event nugget candidate[wi, … 和右的上下文[wj+1, …,. wn]。例如，事件候选触发词“闯入”， 并被判“去年11月，一个不知名的人闯入了- -所房子”; [an, unknown, man, had]，[broken, into]和[a, house, last, November]分别是左上下文,事件候选触发词和右上下文。对于每一部分，我们学习一个单独的RNN来产生-个表示。在将数据输入网络之前，每个单词都被表示为一个实值向量，该向量由单词嵌入和分支嵌入连接而成。
现在，每个单词都被表示为一个实值向量，通过将单词和分支嵌入连接起来形成。左、中间触发词和右分支的单词序列将分别通过一个独立的循环神经网络。对于左分支和中间块分支,我们从左到右处理单词，并使用相反的方向(从右到左)来处理右上下文，因此命名为Forward-Backward RNN(FBRNN)。
每个递归神经网络的输出是其输入的固定大小的表示。我们将三个分支的表示连接起来, 并将其
通过一个全连接的神经网络传递，该神经网络具有-个softmax输出节 点，该节点将每个候选事件分类为特定类型的事件或非事件。在事件候选可能属于多种事件类型的情况下，可以用一组二进制输出 节点或sigmoid替换sofmax输出节点，以允许对每个事件候选进行多标签预测。
为了避免过拟合，使用了dropout (Hinton et al,2012; Srivastava等人，2014)， 正规化率为
0.5。复发性神经网络的权重以及全连接神经网络学 习通过最小化的log-loss训练数据通过优化器(Kingma和Ba, 2015),，性能更好,其他优化方法如AdaDelta (Zeiler, 2012), AdaGrad (Duchi etal，2011), RMSprop SGD。在训练过程中，对单词和分支的嵌入进行更新，以学习该特定任务的有效表示。

5.实验

6.总结

提出了一种新的基于神经网络的独立于语言的事件检测方法，该方法能够自动从原始数据中提取出有效的特征。