论文报告
Attention Guided Graph Convolutional Networks for Relation Extraction(ACL19)
Motivation
关系抽取的目的是检测文本中实体之间的关系。他是自然语言处理中较为基础的任务,可以应用在生物医学知识发现、数据库检索等多种领域,同样也是智能问答、自然语言生成、阅读理解等领域的基础。
Related Work
现有的大多关系抽取模型可以分为两类,基于序列的和基于依赖的。基于序列的模型只对单词序列起作用,而基于依赖的模型将依赖树(语法树)合并到模型中。与基于序列的模型只能提取表面形式的局部句法关系相比,基于依赖的模型能够捕获较为深层次的非局部句法关系。
基于依赖的模型,如何构造依赖树(语法树)的结构很大程度上影响了语法树最终的性能。有人提出了基于规则的剪枝的方法去掉一些冗余的信息。然而基于规则的剪枝策略可能会消除整个树中的一些重要信息,理想情况下,模型应该学会如何在全树中包含和排除某些信息之间保持平衡。在该文中,提出了一种基于attention的图卷积网络(AGGCNs),他直接作用于全树。开发了一种软修剪的策略,将原始依赖树转换为全连接的加权图。这些权重可以被视为节点之间的关联强度,可以通过使用self-attention的机制进行端到端的方式学习。
How?
-
GCN
对于一个n个节点的图,我们用A来表示它的邻接矩阵,如果节点i和节点j之间有边则 A i , j = 1 A_{i,j}=1 Ai,j=1,对于无向图 A j , i = 1 A_{j,i}=1 Aj,i=1,无边则为0。则节点i在第l层的卷积运算 h i ( l ) \mathbf{h}_{i}^{(l)} hi(l)定义为:
h i ( l ) = ρ ( ∑ j = 1 n A i j W ( l ) h j ( l − 1 ) + b ( l ) ) \mathbf{h}_{i}^{(l)}=\rho\left(\sum_{j=1}^{n} \mathbf{A}_{i j} \mathbf{W}^{(l)} \mathbf{h}_{j}^{(l-1)}+\mathbf{b}^{(l)}\right) hi(l)=ρ(j=1∑nAijW(l)hj(l−1)+b(l))
其中 W ( l ) \mathbf{W}^{(l)} W(l), b ( l ) \mathbf{b}^{(l)} b(l)是模型中的参数, ρ \rho ρ是激活函数本文用的(RELU), h i ( 0 ) \mathbf{h}_{i}^{(0)} hi(0)是初始的输入 x i x_i xi,其中 x i ∈ R d \mathbf{x}_{i} \in \mathbb{R}^{d} xi∈Rd,d是输入的特征维度。图1 如图一所示,AGGCN模型由M个相同的block组成,每个block包含三层,Attention Guided Layer、Densely connected layer、linear combination layer。 -
Attention Guided Layer
如图一所示,传统的基于规则的剪枝方式边的权重只包含0或1,而AGGCN添加attention之后每个单词之间就有了关系。
A ~