Attention Guided Graph Convolutional Networks for Relation Extraction(ACL19) 阅读笔记

论文报告

Attention Guided Graph Convolutional Networks for Relation Extraction(ACL19)

Motivation

关系抽取的目的是检测文本中实体之间的关系。他是自然语言处理中较为基础的任务，可以应用在生物医学知识发现、数据库检索等多种领域，同样也是智能问答、自然语言生成、阅读理解等领域的基础。

Related Work

现有的大多关系抽取模型可以分为两类，基于序列的和基于依赖的。基于序列的模型只对单词序列起作用，而基于依赖的模型将依赖树（语法树）合并到模型中。与基于序列的模型只能提取表面形式的局部句法关系相比，基于依赖的模型能够捕获较为深层次的非局部句法关系。

基于依赖的模型，如何构造依赖树（语法树）的结构很大程度上影响了语法树最终的性能。有人提出了基于规则的剪枝的方法去掉一些冗余的信息。然而基于规则的剪枝策略可能会消除整个树中的一些重要信息，理想情况下，模型应该学会如何在全树中包含和排除某些信息之间保持平衡。在该文中，提出了一种基于attention的图卷积网络(AGGCNs)，他直接作用于全树。开发了一种软修剪的策略，将原始依赖树转换为全连接的加权图。这些权重可以被视为节点之间的关联强度，可以通过使用self-attention的机制进行端到端的方式学习。

How?

• GCN

  对于一个n个节点的图，我们用A来表示它的邻接矩阵，如果节点i和节点j之间有边则$A_{i,j}=1$，对于无向图$A_{j,i}=1$，无边则为0。则节点i在第l层的卷积运算${\mathbf{h}}_i^{(l)}$定义为：
  $${\mathbf{h}}_i^{(l)}=\rho \left(\sum _{j=1}^n{\mathbf{A}}_{ij}{\mathbf{W}}^{(l)}{\mathbf{h}}_j^{(l-1)}+{\mathbf{b}}^{(l)}\right)$$
  其中${\mathbf{W}}^{(l)}$，${\mathbf{b}}^{(l)}$是模型中的参数，$\rho$是激活函数本文用的（RELU），${\mathbf{h}}_i^{(0)}$是初始的输入$x_i$,其中${\mathbf{x}}_i\in {\mathbb{R}}^d$，d是输入的特征维度。

  

  图1 如图一所示，AGGCN模型由M个相同的block组成，每个block包含三层，Attention Guided Layer、Densely connected layer、linear combination layer。

• Attention Guided Layer

  如图一所示，传统的基于规则的剪枝方式边的权重只包含0或1，而AGGCN添加attention之后每个单词之间就有了关系。
  A ~