Attention Guided Graph Convolutional Networks for Relation Extraction

Attention Guided Graph Convolutional Networks for Relation Extraction

1. 引言

• 现有的关系提取模型分为基于序列的和基于依赖的：
  • 基于序列的模型只对单词序列进行操作
  • 基于依赖的模型将依赖树合并到模型中，可以捕获表面形式中模糊的非局部句法关系，还提出了各种剪枝策略来提取依赖关系
  • 基于规则的剪枝策略可能会消除完整树种的一些重要信息
  • AGGCN可以在全树上工作，使用“软剪枝”将原始依赖树转换为完全连接的边缘加权图

2. AGGCN

2.1 GCNs

$${\mathrm{h}}_{\mathrm{i}}^{(\mathrm{l})}=\rho ()\sum _{\mathrm{j}=1}^{\mathrm{n}}{\mathrm{A}}_{\mathrm{i}\mathrm{j}}{\mathrm{W}}^{\mathrm{l}}{\mathrm{h}}_{\mathrm{j}}^{\mathrm{l}-1}+{\mathrm{b}}^{(\mathrm{l})}$$

$$W^{(l)}=权重矩阵$$

$$b^{(l)}=偏置向量$$

$$\rho =激活函数$$

$$h_i^{(0)}表示初始输入x_i,x_i\in R^d，d=输入特征维数$$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W0s09Yhg-1626238737837)(https://github.com/aixiuzhi/sanyuanzu/blob/main/model.png)]

2.2 Attention Guided Layer

• 在Attention Guided Layer中，通过构建注意引导的邻接矩阵$\tilde{A}$，将原始依赖树转换为完全连接的边缘加权图，每个$\tilde{A}$对应某个完全连接的图，每个输入 A i j A_{ij} A