1 简介
论文题目:Edge-Enhanced Graph Convolution Networks for Event Detection with Syntactic Relation
论文来源:EMNLP 2020
论文链接:https://arxiv.org/pdf/2002.10757.pdf
代码链接:https://github.com/cuishiyao96/eegcned
1.1 动机
- 目前的基于GCN的事件检测的方法没有考虑依赖标签的类型。
1.2 创新
- 提出了EE-GCN模型,同时融合句法结构和依赖标签的类型,通过依赖上下文的方式,学习和更新关系表示。
2 背景知识
在ACE 2005数据集中,“nsubj”,“dobj”,"nmod"占触发词相关的依赖标签的32.2%。(每个关系在全部40个依赖关系中平均占2.5%)
3 方法
模型的整体框架如上图所示,总共分为下面三部分:
- 输入层:拼接词编码 w i w_i wi和实体类型编码 e i e_i ei,然后通过BiLSTM编码上下文信息。
- 图卷积层:EE-GCN是GCN的扩展,将邻接矩阵表示为
E
∈
R
n
×
n
×
p
E\in{R}^n×n×p
E∈Rn×n×p,
E
i
,
j
,
:
∈
R
p
E_{i,j,:}\in{R}^p
Ei,j,:∈Rp是结点i和结点j之间的p维关系表示。EE-GCN的每层分为两部分,分别更新结点表示(H)和边表示(E)
结点更新模块:通过邻接矩阵聚合邻居信息。公式如下(Pool为平均池化):
边更新模块:由于相同的依赖标签在不同的上下文中可能传递不同的信息,因此需要根据结点上下文更新边的表示。公式如下( h i j h_i^j hij为第j层结点i的表示):
- 分类层:对每个word进行分类。
loss函数如下:(
α
\alpha
α为偏差权重,
I
(
O
)
I(O)
I(O)为开关函数,如果标签为“O”等于1,否则为0):
4 实验
实验数据集为ACE 2005数据集,使用Stanford CoreNLP toolkit进行依存句法分析,句子的最大长度设置为50,通过padding短的句子和切断长的句子。在ACE 2005的实验结果如下:
消融实验的结果如下图:
不同边维度的实验结果:
依赖标签的消融实验:移除类型依赖的标签在测试集上的F1=75.51%,分别添加nmod、nsubj、dobj依赖标签,F1值分别提高为77.09%,77.22%,76.69%。
不同事件类型的表现:EE-GCN显著提升了END-ORG、Start-ORG的F1值,在ACQUIT、ETRADITE和NOMINATE上表现较差。
不同层数GCN的实验结果:
效率分析:
个案的可视化结果: