2021-04-20

Title：Incremental Event Detection via Knowledge Consolidation Networks（EMNLP‘20）

Motivation：

第一个把incremental setting引入ED任务，并解决catastrophic forgetting problem

 

Problem Definition：

Event Detection是Event extraction的子任务，是个token-level多分类任务，将一句话中的每个token划分入预定义的事件类别中。

本文中incremental ED的设定为，有一个随着步数类别递增的数据流（且每一步包含的类别互不相交），在每一步，模型使用当前步的更新参数，并使用之前所有步的做测试。

Method：

Trigger Extraction：

对于前k-1步的中的m个类别，都存储了一些代表性样本，在每一步使用（当前步数据以及）训练一个BERT-softmax分类器。

Prototype Enhanced Retrospection：

用来存储旧数据的memory大小固定为，则若每个类别平分同样大小的memory，每个类别可存储个数据。每一步随着新类别的加入，都要做两种操作：

给新类别选取代表性样本。根据中每类的所有样本计算类别prototype，取离prototype最近的n个样本。

删除一些旧样本（因为每类的存储空间变小了）。同样，根据memory中的样本计算prototype，删掉离prototype最远的样本。

Hierarchical Distillation：

feature-level

最大化原模型和现模型抽取出来的特征相似度

prediction-level