论文笔记 NAACL 2022|RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Lev

1 简介

论文题目：RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction
论文来源：NAACL 2022
组织机构：腾讯云
论文链接：https://aclanthology.org/2022.naacl-main.367.pdf
代码链接：https://github.com/TencentYoutuResearch/EventExtraction-RAAT

1.1 动机

• 在文档级事件抽取任务中存在两个问题：跨句子(论元分布在多个句子)；多事件(文档中存在多个事件)

1.2 创新

• 提出一个文档级事件抽取模型，第一次在文档级事件抽取中使用关系信息。
• 提出Relation-augmented Attention Transformer (RAAT)，该网络可以覆盖文档级事件抽取中不同尺度和数量的关系。

2 方法

模型的整体框架如上图，主要包括下面几个部分：

1. Entity Extraction and Representation：使用Roberta进行编码，然后接CRF，以序列标注的形式得到实体，通过max-pooling得到句子和实体的编码，loss公式如下：
   
2. Document Relation Extraction: 假定一个事件中每两个论元可以得到一个关系(ground truth：角色名2角色名)，使用structured self attention network进行分类(公式1)，得到关系类型，loss为公式2：

3. Entity and Sentence Encoding：首先定义实体和实体(Co-relation：两个实体出现在一个关系三元组中(包含多个子类型)、Co-reference：指向相同实体的实体之间的依赖关系)、实体和句子之间的依赖类型(Co-existence：实体出现在该句子中)。将这些依赖映射到一个矩阵T中(存在依赖标记为0，否则为1，由于分散，将Co-relation依赖中相同head子类型的进行聚类)，如下图注意力的计算包括俩部分：self-attention(公式1)和论文提出的增强关系的attention计算(公式2)。
   

4. Event Record Generation：首先使用句子编码进行事件分类(loss为公式1)，如果存在事件，则进行事件记录解码。事件记录解码使用基于实体的有向无环图(EDAG)，每个步骤预测该事件对应角色的论元。和EDAG不同的是：使用论文提出的RAAT结构而不是普通的transformer，预测的输出加入到下一阶段的输入中,每个步骤中重新计算依赖关系矩阵T，loss公式如下：
   
   总loss公式如下：
   

3 实验

实验数据集为ChiFinAnn和DuEE-fin，实验结果如下图：


在不同句子数量分布的实验结果如下：

在单个事件和多个事件上的实验结果：

消融实验：