论文浅尝 | 用于文档级事件关系抽取的稀疏事件表示的判别推理

笔记整理：邹铭辉，天津大学硕士，研究方向为自然语言处理

链接：https://aclanthology.org/2023.acl-long.897

动机

文档级事件关系抽取（Document-level Event-Event Relation Extraction，简称DERE）旨在从文档中提取事件之间的关系。相较于传统的句子级任务（SERE），它涉及更加复杂的长文本理解。为了更好地进行文档级推理，不同于现有方法通过语言工具构建事件图，本文工作更关注文档本身的性质，并且不依赖于任何先验知识。为了做到这一点，作者强调以下关键问题：（1）如何捕捉可能相距较远的事件依赖关系？（2）考虑到SERE和DERE之间的本质差异，是否应该将所有事件对同等对待？为了解决这些问题，作者提出了一种新颖的DERE模型，该模型学习稀疏的事件表示，用于区分句内和句间推理，即SENDIR（Sparse EveNt representations for Discriminating Intra- and inter-sentential Reasoning）。其基本思想是通过假设同一句子中或跨越多个句子的事件对具有不同的信息密度来区分它们：（1）文档中的低密度暗示着对不相关信息的稀疏注意。本文模型的模块1设计了各种类型的注意力机制来学习事件表示，以捕捉远距离依赖关系。（2）句子中的高密度使得SERE相对较容易。本文模型的模块2使用不同的权重来强调句内和句间推理的作用和贡献，从而为联合建模引入了支持性事件对。大量实验证明了SENDIR的显著改进以及各种稀疏注意力在文档级表示上的有效性。

亮点

本文亮点主要包括：

（1）考虑到DERE和SERE任务的本质差异，提出了区分句内推理和句间推理的想法；

（2）本文提出的SENDIR模型关注文档本身的性质，而无需任何的先验知识和外部工具。

模型与方法

SENDIR旨在学习高质量的事件表示，以促进句内和句间推理。如图2所示，模型框架有四个主要组件：（1）编码器（Encoder）用于将文档编码为向量࿰