论文笔记 EMNLP 2021|Exploring Sentence Community for Document-Level Event Extraction

1 简介

论文题目：Exploring Sentence Community for Document-Level Event Extraction
论文来源：EMNLP 2021 上海交大
论文链接：https://aclanthology.org/2021.findings-emnlp.32.pdf

1.1 创新

• 提出一个基于GAT的模型，利用Sentence Community，缓解多事件问题和角色重叠问题，提高了文档级事件抽取任务的性能。

2 方法

模型的整体框架如上图，主要包括下面三个部分：

2.1 Document Graph Construction

对于一个包含N个句子的文档D，构成图为G=(V,E),其中节点的数量为句子的数量，具有相同实体的两个句子进行连接(使用BI-LSTM-CRF标注出实体)，构成邻接矩阵。然后使用BERT对句子进行编码$B_i$，使用maxpool分别获得实体级特征和句子级特征，最后使用Bi-LSTM对上述两个特征进行融合，得到节点的特征$h_i$，公式如下：

2.2 Sentence Community Detection

使用GAT(含多head注意力机制)进行Community Detection，然后生成Target Sentence Community(一个二值邻接矩阵$F^{N\ast C}$(文档包括N个句子和C个事件)，$F_{i,j}$=1表示第i个句子包含第j个事件的论元)，P中大于0.5的阈值表示邻接，LOSS为交叉熵，公式如下：

2.3 Event Type & Argument Classification

首先使用上一阶段获得的邻接矩阵获得每个句子的事件类型，公式如下：

然后进行事件论元分类，首先通过第一阶段的实体识别，获得实体的编码，然后将同名的实体向量拼接到一起E，通过Bi-LSTM获得向量表示E’，然后使用Attention进行加权求和，然后进行多个二分类(超过阈值，表示为一个角色，因此一个论元可以有多个角色)，解决角色重叠问题，公式如下：

3 实验

实验数据集为中文金融事件抽取数据集，数据统计如下：

实验结果如下图：

消融实验：

单个和多个事件的实验结果：

多头注意力的消融实验：

Case study：