论文笔记 EMNLP 2021|Treasures Outside Contexts: Improving Event Detection via Global Statistics

1 简介

论文题目：Treasures Outside Contexts: Improving Event Detection via Global Statistics
论文来源：EMNLP 2021
组织机构：北京邮电大学
论文链接：https://aclanthology.org/2021.emnlp-main.206.pdf
代码链接：https://github.com/buted/ssjdn

1.1 动机

• 现有的基于神经网络的事件检测模型的一个缺点是它们在测试过程中容易被多变的上下文所迷惑。
  

1.2 创新

• 提出一个Semantic and Statistic-Joint Discriminative Network用于事件检测任务，使用语义特征(上下文)和每个词的统计特征，进行决策，在ACE 2005和KBP 2015数据集上达到SOTA。

2 方法

模型的整体框架如上图，主要包括下面3个部分：

2.1 语义特征提取器

首先使用Dynamic Multi-pooling BERT进行编码(输入为一个句子，因此没有segment编码和[SEP])，每个token为左右两边的max token相加，第i个token的第j个子token $c_{i,j}^z$的公式如下：

2.2 统计特征提取器

统计特征包括两种：

• 直接统计特征：对于每个词，计算词-事件的共现频率，公式如下：

- 间接统计特征：由于上面的特征维度太小，不能高效的指导最终的决策，因此提出一个Frequency Supervised Multi-Label Classification任务，使用普通的词向量预测上述的共现频率，通过此任务学习的特征作为间接统计特征，然后对两种特征进行融合，然后进行放缩(降低出现次数少的词的可信度)，公式如下：

• 联合事件鉴别器：首先对特征进行layer normalization，由于正则化可能将零值改为非零值，再进行一个点乘，最后进行预测，公式如下：

最后进行联合训练，公式如下：

3 实验

实验数据集为ACE 2005和KBP 2015，数据统计如下：

实验结果如下：

消融实验：

在词诱发1、2、3和多个事件的数据上的表现：

在词诱发的最频繁事件和非最频繁事件的数据中，错误的比例如下：

在不同词频的表现：