论文笔记 EMNLP 2021|Learning Constraints and Descriptive Segmentation for Subevent Detection

1 简介

论文题目：Learning Constraints and Descriptive Segmentation for Subevent Detection
论文来源：EMNLP 2021
组织机构：宾夕法尼亚大学
论文链接：https://arxiv.org/pdf/2109.06316.pdf
代码链接：http://cogcomp.org/page/publication_view/950

1.1 创新

• 将基于事件的文本分割作为辅助任务，提高子事件检检测(subevent detection, event hierarchy extraction)的性能。
• 为了捕捉两个任务间的依赖关系，使用一个方法(Rectifier Network)自动的学习和执行逻辑依赖。

2 背景知识

子事件的关系有(PARENT-CHILD, CHILDPARENT,COREF, and NOREL),对于一个关系r和一个事件触发词对$(e_i,e_j)$，进行二分类$y_{i,j}^r$。
基于事件的文本分割致力于找到一个最佳的文本分割，将文档分成几组连续的句子，每个序列都是事件复合体的描述性上下文。对于一个事件触发词对$(e_i,e_j)$，进行二分类$z_{i,j}^r$，表示两个事件是否在事件复合体相同的描述性上下文中。

3 方法

模型的整体结构如上图，包括约束学习和联合任务学习两个部分。

3.1 约束学习

对于上述图中的例子，可以构造一个事件图G包括全部的事件、成员关系、事件文本段信息。下图为G的一个三个事件的子图，约束学习的目标是给定成员关系$Y_{i,j}^r,Y_{j,k}^r$和文本段信息$Z_{i,j},Z_{j,k}$,判断$Y_{i,k}^r$和$Z_{i,k}$是否合法。

扩展$X_{i,k}$所有可能的值$P(X_{i,k})$,更好地捕捉关系合法性。其中 X p = { Y p r , r ∈ R } ⋃ Z p X_p=\{Y_p^r,r\in R\}\bigcup{Z_p} Xp​={Ypr​,r∈R}⋃Zp​,现在三个事件的子图可以表示为

对于每个子图，创造一个表示结构合法性的二分类标签t，(X,t)被表示为K线性不等式(K linear inequalities)，如果t=1，表示满足全部的约束$c_k$(k=1,…,K),$c_k$的公式如下，K线性不等式等价于Rectifier Network，因此使用Rectifier Network学习约束，p表示t=1的概率，正例是从训练语料库中出现的子图结构中构造，负例是从训练语料库中随机选择的不存在的结构。

3.2 联合任务学习

使用RoBERTa进行编码，对于每个事件对$(e_i,e_j)$拼接上下文表示特征和element-wise Hadamard product 和subtraction，然后通过多层的MLP，得到每个关系r的概率，辅助任务文本分割使用另一个MLP判断两个事件是否属于一个文本片段，模型一次处理三次事件，模型图中annotation loss为2个交叉熵loss(一个4分类的子事件监测和一个二分类的文本片段分割)。
总的loss公式如下：

推理的时候，对于子事件检测任务，输入一个事件对，根据输出概率判断类型；对于文本分割任务，输入出现在不同句子中的相邻事件$(e_i,e_{i+1})$，如果$z_{i,i+1}=1$，则$e_i$和$e_j$间存在分隔,当两个相邻事件之间存在中间句子时，我们将包含$e_i$的句子视为前一段的结尾。

4 实验

实验数据集为HiEve和Intelligence Community(IC)(均为100篇文章),对于文本分割任务的标注，使用标注的子事件关系为每个文档构造有向无环图，如果一个文档仅一个图，对图进行分割；如果多个图不重叠，则直接标注为上下文；如果重叠，存在一个的事件，其删除导致上下文不重叠，那么假设不考虑该事件来分割上下文。 否则，将上下文合并为一个片段。

实验结果如下图：

消融实验：

在辅助任务文本分割上的表现：

约束学习的表现：