论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract

1 简介

论文题目：TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction
论文来源：ACL 2021
论文链接：https://arxiv.org/pdf/2106.09232.pdf
代码链接：https://github.com/luyaojie/text2event

1.1 动机

• 目前大部分事件抽取方法使用分解的策略，将复杂的事件结构分解为多个分开的子任务。这种方法有两种缺点：1)每个子任务需要大量的标注数据，经常遭受数据不高效问题。2)手动设计不同子任务的最佳组合结构具有挑战性。

1.2 创新

• 提出了一个事件抽取新的范式：sequence-to-structure generation,以端到端的方式直接从文本中抽取事件。
• 提出了一个sequence-to-structure结构，在推理期间(对于事件知识)使用约束的解码算法，使用课程学习算法进行模型学习。

2 方法

2.1 事件抽取转换为结构生成

将事件抽取转换为结构生成，线性的事件表示应该有如下三个特点:

• 能够将文本中的多个事件记录表达为一个表达式；
• 确定性的方式可逆地转换为事件记录
• 类似于一般文本生成任务的token序列，以便可以轻松利用和转移文本生成模型。

本篇论文提出的转换方法如下图所示，首先转换为树结构(树的根节点为事件类型，叶子结点为原始文本)，然后通过深度优先搜索转换为线性的事件表示(括号为分隔符)。

2.2 Sequence-to-Structure结构：

使用T5预训练模型，基于transformer的编码-解码结构，解码开始和结束的标识符为< bos >和< eos >，公式如下：

贪恋解码算法不能保证生成有效的事件结构，本文使用一种基于字典树的约束解码算法，将解码过程表示为字典树搜索的过程，基于当前生成状态选择不同的候选字典集(事件和论元类型、原始文本、括号)，如下图：

2.3 模型学习

由于输出中包含很多括号，不同于text-to-text生成模型，容易误导学习过程，因此使用课程学习(curriculum learning)的方法，首先训练PLMs在简单事件子结构任务上(label,span)，以至于不会在语义的分隔符(括号)上过拟合，然后训练在全部的结构生成任务。loss函数如下图(数据集表示为 D = { ( x 1 , y 1 ) , . . . , ( x ∣ D ∣ , y ∣ D ∣ ) } D=\{(x_1,y_1),...,(x_{|D|},y_{|D|})\} D={(x1​,y1​),...,(x∣D∣​,y∣D∣​)},每一个实例是一个<句子，事件记录>对)：

3 实验

数据集为ACE05-EN、ACE05-EN+(进一步考虑了代词角色和多token的事件触发词)、ERE-EN。在ACE05-EN的实验结果如下图：

在ACE05-EN+和ERE-EN的实验结果如下图：

迁移学习下的表现：

消融实验：