论文笔记 EMNLP 2020|Joint Constrained Learning for Event-Event Relation Extraction

1 简介

论文题目：Joint Constrained Learning for Event-Event Relation Extraction
论文来源：EMNLP 2020
论文链接：https://arxiv.org/pdf/2010.06727.pdf
代码链接：https://cogcomp.seas.upenn.edu/page/publication_view/914

1.1 创新

• 提出一个联合约束学习模型，用于多种事件关系抽取(时间关系、子事件关系)，同时提高了两种时间关系抽取任务的指标。
  

2 方法

文档D表示为一个token序列$D=[t_1,...,e_1,...,e_2,...,t_n]$，其中一些token为注释事件的触发词，目标是抽取时间事件关系(BEFORE, AFTER, EQUAL, VAGUE)和子事件关系(PARENT-CHILD, CHILD-PARENT, COREF，NOREL)。其中模型的整体框架如上图，主要包括下面几部分：

2.1 事件对表示

对事件对进行编码，同时加入常识知识，最后使用两个不同的分类器，得到具体任务的标签。

2.2 上下文事件触发词编码

首先使用RoBERTa进行上下文编码，然后加入one-hot的词性标签，然后通过BiLSTM进行编码，最后对于一个事件对$(e_1,e_2)$,特征包括$e_1$的上下文编码$h_{e_1}$、$e_2$的上下文编码$h_{e_2}$、Hadamard product (对应元素相乘)和subtraction。

2.3 常识知识

使用ConceptNet知识，分别为时间关系和子事件关系训练一个MLP编码器，表示常识特征。

2.4 联合约束学习

分为下面三种约束：

• 注释约束：期望模型的预测满足注释，规则和Loss公式如下：

• 对称性约束：($e_1,e_2$)和($e_2,e_1$)应该有相反的关系，规则和Loss公式如下：

• 联合约束：该约束用于三种相关的事件$e_1,e_2,e_3$,包括下面两种规则，下表表示全部的联合规则：

总的学习目标如下：

取得到的最高分数的关系，作为该事件对的关系标签，其中预测子事件关系有更高的优先级。

3 实验

时间关系数据集为MATRES，子事件关系数据集为HiEve，数据统计如下：

实验结果如下图：

消融实验结果如下图：

在RED数据集上的Case Study：