OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction 论文解读

OneEE: A One-Stage Framework for Fast Overlapping and Nested Event Extraction

论文：https://arxiv.org/pdf/2209.02693.pdf

代码：https://github.com/Cao-Hu/OneEE

期刊/会议：COLING 2022

摘要

事件抽取(EE)是信息抽取的基本任务，旨在从非结构化文本中抽取结构化事件信息。大多数先前的工作集中于抽取平面事件，而忽略了重叠或嵌套的事件。一些用于重叠和嵌套EE的模型包括几个抽取事件触发词和论元的连续阶段，这些阶段会受到错误传播的影响。因此，我们设计了一个简单而有效的标注方案和模型来表述EE作为词-词关系识别，称为OneEE。通过并行网格标记，在一个阶段内同时识别触发词和论元词之间的关系，从而获得非常快的事件抽取速度。该模型采用自适应事件融合模块生成事件感知表示，采用距离感知预测器集成相对距离信息进行词-词关系识别，并通过实例验证了这两种机制的有效性。在3个重叠和嵌套的EE基准(即FewFC、Genia11和Genia13)上进行的实验表明，OneEE实现了最先进的(SoTA)结果。此外，在相同条件下，OneEE的推理速度比基线的推理速度快，由于支持并行推理，可以进一步大幅度提高推理速度。

1、简介

图1展示了现有事件抽取的情况，大致可以分为Flat Event，Overlapped Event，Nested Event三种。传统的方法常将EE看成序列标注任务，不能有效解决事件提及的重叠问题，如图1中的(b)所示，两个重叠的事件共享触发词acquired。图1中的©展示了嵌套事件的例子，其中Gene Expression事件是另一个Positive Regulation事件的Theme论元。

重叠和嵌套EE的前期研究(Yang et al, 2019;Li et al，2020)采用基于管道的方法，在几个连续的阶段抽取事件触发词和论元。最近，最先进的模型Sheng等人(2021)也使用了这样一种连续执行事件类型检测、触发词抽取和论元抽取的方法。这种方法的主要问题是后一阶段依赖于前一阶段，这固有地带来了误差传播问题。

为了解决上述问题，我们提出了一种新的标记方案，将重叠和嵌套的EE转换为词-词关系识别。如图2所示，我们设计了两种类型的关系，包括跨度关系(S-*)和角色关系(R-*)。S-*处理触发词和论元识别，表示两个单词是触发词(T)的头尾边界还是论元(a)的头尾边界。R-*处理论元角色分类，表示论元是否在事件中扮演“*”角色。

在此基础上，我们进一步提出了一个单阶段事件抽取模型，该模型主要包括三个部分。首先，它采用BERT (Devlin et al, 2019)作为编码器来获得上下文化的单词表示。然后，使用自适应事件融合层(由一个注意模块和两个门融合模块组成)获得每种事件类型的事件感知上下文表示。在预测层，我们通过计算距离感知分数，并行预测每对单词之间的跨度和角色关系。最后，可以在一个阶段中使用这些关系标签解码事件触发词、论元及其角色，而不会出现错误传播。

我们在3个重叠和嵌套的EE数据集上评估了OneEE (FewFC (Zhou et al, 2021)， Genia11 (Kim et al, 2011)和Genia13)，并进行了广泛的实验和分析。

• 我们设计了一种新的标记方案，将事件抽取转换为单词-单词关系识别任务，为重叠和嵌套的EE提供了一种新颖而简单的解决方案。
• 我们提出了OneEE，这是一个单阶段模型，可以有效地并行抽取重叠和嵌套EE的词-词关系。
• 我们进一步提出了自适应事件融合层，以获得事件感知的上下文表示，并有效地集成事件信息。
• OneEE在性能和推理速度方面都优于SoTA模型。

2、相关工作

2.1 事件抽取

传统的EE(即扁平或常规事件抽取)(Li et al, 2013; Nguyen et al, 2016; Liu et al, 2018; Sha et al, 2018; Nguyen and Nguyen, 2019)将EE制定为序列标记任务，为每个token分配标签(例如，BIO标记方案)。例如，Nguyen等人(2016)使用两个双向RNN来获得更丰富的表示，然后将其用于联合预测事件触发词和论元角色。Liu等人(2018)通过引入基于注意的GCN来对依赖图信息建模，联合抽取了多个事件触发词和论元(Fei et al, 2021b; Li et al, 2021a; Fei et al, 2022b)。然而，他们的基本假设，事件提及不相互重叠，并不总是有效的。不规则的EE(即重叠和嵌套的EE)并没有受到太多的关注，这更具有挑战性和现实意义。

现有的重叠和嵌套EE的方法(Yang et al, 2019; Li et al, 2020)以管道方式执行事件抽取，有几个步骤。为了解决论点重叠，Yang等人(2019)采用多组二元分类器，其中每个severs为一个角色检测特定于角色的论元范围，但无法解决触发词重叠。除了管道方法外，处理重叠EE的最新尝试是Sheng等人(2021)在级联解码的联合框架中。他们是第一个同时处理所有重叠模式的。Sheng等人(2021)依次执行类型检测、触发词抽取和论元抽取，其中重叠的目标根据特定的前一个预测分别抽取。然而，大多数多级方法都存在误差传播问题。

2.2 基于标记的信息抽取

标记方案在信息抽取领域得到了广泛的研究。传统的序列标记方法(例如BIO)很难处理不规则的信息抽取(例如重叠的NER)。一些研究人员(Zheng et al, 2017)扩展了BIO标签方案，以适应更复杂的场景。然而，由于有限的灵活性，它们受到标签歧义问题的困扰。近年来，网格标记方案由于其呈现词对之间关系的特点，被应用于许多信息抽取任务中，如意见挖掘(Wu et al, 2020)、关系抽取(Wang et al, 2020)和命名实体识别(Wang et al, 2021)。例如，TPLinker (Wang et al, 2020)通过用链接标签标记token对，实现了在训练和推理之间没有间隙的单阶段联合关系抽取。受这些工作的启发，我们设计了标签方案来解决重叠和嵌套的EE，它在一个阶段平行预测触发词或论元词之间的关系。

同样值得注意的是，这项工作继承了最近成功的词-词关系检测思想，如Li等人(2022b)。Li等人(2022b)提出用基于网格标注方案的词-词建模统一所有的NER(包括扁平提及、嵌套提及和不连续提及)。然而，这项工作与Li等人(2022b)在两个方面有所不同。首先，我们成功地将词-词标记的思想从NER扩展到EE，其中我们为嵌套和重叠的事件重新设计了两种关系类型。其次，从建模的角度，设计了自适应事件融合层，完全支持单阶段(端到端)复杂事件检测，极大地避免了错误的传播。

3、问题定义

事件抽取的目标包括抽取事件触发词及其论元。我们可以将重叠和嵌套EE形式化如下:给定一个由$N$个标记或单词组成的输入句子X={ x1,x2,…,xN}X = \{x_1, x_2,\ldots, x_N\}X={ x1​,x2​,…,xN​}和事件类型$e\in \mathcal{E}$，任务旨在抽取每个token对$(x_i,x_j)$之间的跨度关系$\mathcal{S}$和角色关系$\mathcal{R}$，其中$\mathcal{E}$表示事件类型集合，$\mathcal{S}$和$\mathcal{R}$为预定义标签。这些关系可以在下面解释，为了更好地理解，我们还提供了如图2所示的示例。

• $\mathcal{S}$: span关系表示$x_i$和$x_j$是所抽取的触发词跨度S-T或论元跨度S-A的起始和结束标记，其中$1\le i\le j\le N$。
• $\mathcal{R}$:角色关系表示带有$x_j$的论元充当触发词包含$x_i$的事件的某个角色R-*，其中$1\le i,j\le n$，*表示角色类型。
• $\text{NONE}$：表示该词对不存在本文定义的任何关系。

4、框架

我们的模型体系结构如图3所示，它主要由三个部分组成。首先，使用广泛使用的预训练语言模型BERT (Devlin et al, 2019)作为编码器，从输入句子中产生上下文化的单词表示。然后，采用自适应事件融合层(由一个注意力模块和两个门模块组成)将目标事件类型嵌入到上下文表示中;然后利用预测层联合抽取词对之间的跨度关系和角色关系。

4.1 编码层

我们利用BERT作为模型的编码器，因为它已被证明是EE中表示学习的SoTA模型之一。给定一个输入句子X={ x1,x2,…,xN}X = \{x_1, x_2,\ldots,x_N\}X={ x1​,x2​,…,xN​}，我们将每个token $x_i$转换为单词块，然后将它们输入预训练的BERT模块。在BERT计算之后，每个句子词都可能涉及几个片段的向量表示。这里我们使用最大池化来生成单词表示H={ h1,h2,…,hN}∈RN×dhH = \{h_1, h_2,\ldots, h_N\}∈\mathbb{R}^{N×d_h}H={ h1​,h2​,…,hN​}