论文笔记 NAACL 2022|A Two-Stream AMR-enhanced Model for Document-level Event Argument Extraction

1 简介

论文题目：A Two-Stream AMR-enhanced Model for Document-level Event Argument Extraction
论文来源：NAACL 2022
组织机构：北京大学
论文链接：https://aclanthology.org/2022.naacl-main.370.pdf
代码链接：https://github.com/PKUnlp-icler/TSAR

1.1 动机

• 文档级事件论元抽取存在长距离依赖和无关上下文导致分散注意力。

1.2 创新

• 提出一个双流编码模块，从局部和全局两方面编码上下文。
• 提出一个AMR (Abstract meaning Representation)引导的交互模块，方便文档内的语义交互，从而更好地捕捉远距离依赖。在RAMS和WikiEvents数据集上达到SOTA。

2 方法

模型的整体框架如上图，主要包括双流编码模块、AMR交互模块、融合模块和分类模块。

2.1 Two-Stream Encoding Module

为了捕捉有用的信息和过滤无用、转移注意力的信息，提出了一个双流编码模块，包括对全部上下文的全局编码器和仅集中最相关信息的局部编码器。两个编码器均使用BERT结构，全局编码器为传统的Transformer结构，局部编码器使用一个mask矩阵使token仅可关注本身句子的token和触发词所在句子的token(公式2)，最后编码表示如公式3：

2.2 AMR-Guided Interaction Module

局部角度只得到一个句子内的AMR图。
全局角度得到不同句子的AMR图。
两者过程一样，如下：
AMR图分别包含90%和88%论元在RAMS和WikiEvent数据集上，使用AMR parser得到AMR图(关系类型进行聚类减少，以得到主要的类别)，通过压缩、交互、分解三个步骤对信息进行交互。结点的向量表示通过平均局部表示得到(公式1)，然后通过L层GCN进行交互(公式2)，然后拼接全部层的结点表示得到最终的结点表示(公式3)，然后将结点表示$h_u$分解为token的向量表示(公式4)。

2.3 Information Fusion Module

使用门控机制对两种向量表示进行融合(公式1和2)，通过拼接头向量表示、尾向量表示、平均池化隐藏表示得到span的向量表示(公式3)。

抽取论元从span级别，边界是模糊的，使用辅助的边界loss来加强边界信息，预测一个词是否是论元的第一个词或者最后一次词，loss为交叉熵，公式如下：

2.4 Classification Module

对候选span进行论元角色分类，通过拼接触发词向量表示、触发词和span向量表示的绝对差、点乘、事件类型编码、span长度编码(公式1)，loss为交叉熵，总loss为任务loss和辅助loss的加权求和。

3 实验

实验使用的数据集为RAMS和WikiEvent，数据统计如下：

实验结果如下图：


与触发词不同距离的论元的实验结果如下图：

消融实验：

case study：

人工对200个RAMS数据集上的例子进行分析，错误分析如下：