论文笔记010-《Multi-Channel Graph Neural Network for Entity Alignment》

1. 简介

题目：《Multi-Channel Graph Neural Network for Entity Alignment》

来源：ACL-2019

链接：论文链接

代码：Code和Dataset

关键字：Graph Neural Network、Embedding-based、Entity Alignment

2. Abstract

  近年来实体对齐的工作往往受制于KGs之间的异构性以及种子实体对的约束。本文提出了一种多通道的图神经网络MUGNN来学习， 每一个通道通过不同的权重模式来编码KG：一个通过自己注意力的KG补全，另一个是通过跨图的实体修剪。除此之外作者还增加了知识推理和转移的模块来丰富知识图谱结构。

3. Introduction

  知识图以有向图的形式存储世界知识，其中节点表示实体，边表示实体之间的关系。自提出以来，许多不同语言或者应用的KGs被提出来，这些KGs之间通常包含互补的信息，这个吸引着研究者去整合它们，这将使很多人以及相关的应用受益，比如信息抽取，推荐系统等。

  目前的一些方法使用嵌入学习的方法将，通过预先对齐的种子对，将实体嵌入到同一的向量空间进行对齐。然而这些方法基于的假设是实体和其对应的实体具有相似的结构以及相似的嵌入表达，但是实际情况面临如下两个方面的挑战：

• Heterogeneity of Structures

  不同的KGs由于语言或者应用的侧重点不同，其内部结构其实很不同，导致后续的嵌入学习会有很大的误差，进而影响对齐的效果。如下图中所展示的中文-英文的KG之间的区别,：

  图中的“Jilin City”分别从中文和英文中抽取它的关系子图，由于四个中国城市，所以$K{G}_2$中的信息比$K{G}_1$的信息丰富。

• Limited Seed Alignments

  目前的研究很大程度依赖于种子实体对，然而种子对数量一般有限。GCN网络通过模型结构特征加强实体嵌入学习，但是没有考虑到图结构的异构性。

  本文作者针对上面挑战提出了多通道的图神经网络MuGCN，使用它来对不同的图进行嵌入学习。针对每一个KG图，MuGCN使用不同的通道来补全和修剪，其主要分别处理缺失的关系和多余的实体。补全主要是通过补全图中实体之间缺少的关系，而修剪主要是针对一些独立的实体，在另一个图中，其没有与这个独立实体相对应的实体。其最后通过池化技术将不同通道的实体嵌入表达整合起来，这样实体嵌入就能被来自不同视角的调节后的结构做增强，提高种子对齐的利用效率，每个通道通过共享参数在两个KG中转移结构知识。

  具体而言，对于KG补全，先用**AMIE+**从每个KG中抽取规则，然后在KG间进行规则传递，丰富三元组。类似于GAT，本文利用KG自注意力来对每个GNN通道上的关系进行加权。为了对KG进行修剪，设计跨KG的注意力通过为对于关系分配低的权重来过滤多余的实体。

3. Preliminaries and Framework

3.1 Preliminaries

  KG由一个有向图表示：$G=(E,R,T)$，由实体，关系，三元组组成。每个三元组由$t=(e_i,r_{ij},e_j)\in T$表示。

  Rule Knowledge表示 K = { k } K=\{k\} K={k}从KG中获取的规则，$\forall x,y\in E:(x,r_s,y)\Rightarrow (x,r_c,y)$，表示两个实体如果有关系$r_s$，则两者之间可能有关系$r_c$。箭头左边的为先前提，箭头后的为结论。其定义规则$k=(r_c|r_{s1},\cdots ,r_{sp})$由一系列条件推出一个结论。

  Rule Grounding表示去寻找符合上面找出的规则三元组，然后使用规则扩充三元组。

  Entity Alignment输入两个图结构，然后尽可能找出其中等价实体对。

3.2 Framework

  MuGCN的目的是学习面向实体对齐的KG嵌入。其引入KG规则推理和规则转移以显式地补全KG，利用不同的关系权重模式：KG自注意力和跨KG的注意力，使编码的KG更具鲁棒性。框架主要由两个步骤，如下图所示：

• KG Completion

  通过补全缺失的关系来缓解结构的差异。它不仅通过规则挖掘器**AMIE+**分析出规则，还基于KG间的种子对齐关系在不同的KG中转移规则。规则能转移基于的假设是：知识可以泛化到不同的KG，不管KG是何种语言或什么领域。

• Multi-channel Graph Neural Network

  该模块通过不同通道来编码KG，其实就是从不同的角度来编码KG，这里是指知识补全和实体修剪来实现的。其包含三个模块：

1. 关系加权

  其根据两种模式（自注意力和跨KG注意力）生成对应的关系权限，每个类型的注意力机制对应一个GNN通道，这些通道在KGs中共享参数实现结构知识转移。

2. GNN编码器

  对图结构进行编码，通过其邻居结点来优化实体嵌入，这样对齐的种子对信息可以在整个图中传播。

3. 对齐模块

  通过使种子实体对的嵌入尽可能相同这一原则，会将两个KGs嵌入到同一空间中去。

4. KG Completion

  这一部分将介绍如何利用规则显式地补全KG。首先从每个KG中推理出规则，然后基于知识不变性的假设在KG中转移这些知识，最后在每个KG中找出需要补全的地方。

4.1 Rule Inference and Transfer

  本文关注点是实体对齐，对于知识获取不是本文的重点，所以作者采用了AMIE+的模型去有效地挖掘知识。从不同的KG中发掘的知识由于KG的应用场景或者语言不同会导致其挖掘的规则大不相同，虽然这个规则可以取补全自己原本图中所缺少的实体之间的关系，但是作者增加了将其规则传播到对立的图中去，这个也是基于知识的不变性。其实现就是对于规则 $k_1\in K_1$ ，将其$k_1$种子关系对中包含的关系用对应的关系替换掉，然后新的规则 $k_1^{\prime }$加入到对应的规则集$K_2$中去。也许扩充的关系集可能为空，那是因为没有找到对应的关系。

4.2 Rule Grounding

  规则集中的规则在各自的KG中进行实例化后用于知识补全，补全后的KG不仅增加了知识的稠密性，更利于对齐模型中的知识传播，也增加了更多的约束，帮助学习质量更好的嵌入。就是将上面的规则在本KG中找满足条件却没有结论的实例，然后将结论给补充上去即可。注意的是，抽取到的规则并不是在所有情况下都成立，所以作者未来可能考虑一个置信度来判断。

5. Multi-Channel Graph Neural Network

  本部分包含关系权重、多通道GNN编码器、对齐模型三个模块，具体介绍如下：

5.1 Relation Weighting

  基于图的结构特征得到加权的邻接矩阵，每个元素表示两个实体间的加权的关系权重。在KG中有两种类型的结构差异：由KG的天然不完全性造成的链接的缺失，和由不同的构建需求造成的实体的多余。利用两个通道编码的GNN编码每个KG，每个通道负责调解一种类型的结构差异性。也就是为每个KG生成两个邻接矩阵：基于自注意力的 $A_1$ 和基于跨KG注意力的 $A_2$ 。

• KG Self-Attention

  目的是根据KG的自身结构充分利用对齐的种子。根据当前的实体选择信息量高的邻居并为之设置高权重。类似于GAT， $A_1$ 中的元素定义为：
$$a_{ij}=\mathrm{softmax}\left(c_{ij}\right)=\frac{\exp \left(c_{ij}\right)}{{\sum }_{e_k\in N_{e_i}\cup e_i}\exp \left(c_{ik}\right)}\text{\hspace{1em}(1)}$$

$$\begin{array}{rl}{c}_{ij}& =\mathrm{attn}\left({\mathrm{W}\mathrm{e}}_{\mathrm{i}},{\mathrm{W}\mathrm{e}}_{\mathrm{j}}\right)\\ & =\mathrm{Leak}y\mathrm{Re}LU\left(\mathrm{p}\left[{\mathrm{W}\mathrm{e}}_{\mathrm{i}}\Vert {\mathrm{W}\mathrm{e}}_{\mathrm{j}}\right]\right)\end{array}\text{\hspace{1em}(2)}$$

  其中 $e_k\in N_{e_i}\cup e_i$ 表示实体 $e_i$ 的邻居结点以及自身环结构。$c_{ij}$表示实体$e_i,e_j$之间的注意力系数，其计算公式如公式（2）所示，$||$ 表示连接操作。

• Cross-KG Attention

  目的是建模两个KG的公共子图做为结构特征以建模一致性。它能通过为没有对应关系的关系设置较低的权重来修剪掉多余的实体。 $A_2$中的元素定义如下：
$$a_{ij}=\underset{r\in R,r^{\prime }\in R^{\prime }}{\max }1\left(\left(e_i,r,e_j\right)\in T\right)\mathrm{sim}\left(r,r^{\prime }\right)\text{\hspace{1em}(3)}$$
  其中$1(\cdot )$表示情况为真就是1，否则就是0。$sim(\cdot )$为相似性评价函数，这里使用内积操作，$\mathrm{sim}\left(r,r^{\prime }\right)={\mathrm{r}}^T{\mathrm{r}}^{\prime }$。其值为0则代表没有对应的实体。

5.2 Multi-Channel GNN Encoder

  GNN是处理图结构数据的一种神经网络模型，主要思想类似于传播模型：根据邻居节点来增强节点自身的特征。可以堆叠L层GNN以得到更远的传播。GNN的一个变体是基于谱图的图卷积网络，如GCN，每个GCN编码器以节点表示的隐含状态做为输入，并计算出新的节点表示：
$$\mathrm{GNN}(A,H,W)=\sigma (\mathbf{A}\mathbf{H}\mathbf{W})\text{\hspace{1em}(4)}$$
  其中 $\mathrm{A}$ 是邻接矩阵， $\mathrm{H}$ 是当前结点的表示， $\mathbf{W}$ 是可学习的参数， $\sigma$ 是一个激活函数，这里选择了 $\mathrm{Re}LU(\cdot )=\max (0,\cdot )$ 。受多视角注意力的启发，本文利用上述提到的策略来计算邻接矩阵以从不同方面来传播信息。最后用池化方程对它们进行聚合，本文的多通道GNN编码器，通过堆叠多个GNN编码器来构建。
$$\mathrm{MultiGNN}\left(H^l;A_1,\cdots ,A_c\right)=\mathrm{Pooling}\left(H_1^{l+1},\cdots ,H_c^{l+1}\right)\text{\hspace{1em}(5)}$$
  其中 $c$ 是指通道数目, $A_i$ 是第 $i_{th}$ 个通道的邻接矩阵, 而 $H_i^{l+1}$ 第 $(l+1{)}_{th}$ 隐藏层的状态，其计算公式如下：
$${\mathbf{H}}_i^{l+1}=\mathrm{GNN}\left(A_i,H^l,W_i\right)\text{\hspace{1em}(6)}$$
  其中$W_i$是第 i 个通道的加权参数。这里$i=1,2$指的是上面提到的两个注意力模式，令$H^0$表示随机初始化的实体嵌入。这里的池化选用平均池化。

5.3 Align Model

  通过将种子对中的实体嵌入到一起，从而将两个KG嵌入到一个统一的向量空间中。通过实体(或关系)间的距离来度量其相似度。对齐模型的目标函数是：
$$\begin{array}{c}{\mathcal{L}}_a={\sum }_{\left(e,e^{\prime }\right)\in {\mathcal{A}}_e^g\left(e_{-},e_{-}^{\prime }\right)\in {\mathcal{A}}_e^g-}{\left[d\left(e,e^{\prime }\right)+{\gamma }_1-d\left(e_{-},e_{-}^{\prime }\right)\right]}_{+}+\\ {\sum }_{\left(r,r^{\prime }\right)\in {\mathcal{A}}_r^s\left(r_{-},r_{-}^{\prime }\right)\in {\mathcal{A}}_r^s-}{\left[d(r,r)+{\gamma }_2-d\left(r_{-},r_{-}^{\prime }\right)\right]}_{+}\end{array}\text{\hspace{1em}(7)}$$
  其中的 [ ⋅ ] + = m a x { 0 , ⋅ } [\cdot]_{+}=max\{0,\cdot\} [⋅]+​=max{0,⋅} ，而$d(\cdot )=||\cdot |{|}_2$是距离测量函数，$A_e^{s-}/A_r^{s-}$分别是实体/关系的负样本，而超参数${\gamma }_1>0,{\gamma }_2>0$，作者通过距离计算列出25个负样本，而样本每5个周期计算一次。

• Rule Knowledge Constraints

  由于通过添加了由规则得到的新三元组，这样改变了KG的结构，但为了保证在嵌入空间中规则的有效性，还引入了三元组损失,定义如下的损失函数：
$$\begin{array}{rl}{\mathcal{L}}_r& =\sum _{g^{+}\in \mathcal{G}(\mathcal{K})g^{-}\in {\mathcal{G}}^{-}(\mathcal{K})}{\left[{\gamma }_r-I\left(g^{+}\right)+I\left(g^{-}\right)\right]}_{+}\\ & +\sum _{t+\in T{t}^{-}\in T^{-}}{\left[{\gamma }_r-I\left(t^{+}\right)+I\left(t^{-}\right)\right]}_{+}\end{array}\text{\hspace{1em}(8)}$$

  其中g是规则转移 $g(k)$ 的缩写，$g(K)$和 $T$ 指所有的规则证据以及所有的三元组，$g^{-}(K)$和 $T^{-}$ 是负样本集合。$I(\cdot )$ 对于三元组来说是三元组 $t$ 的真值，计算方法为：
$$I(t)=1-\frac{1}{3\sqrt{d}}{\Vert {\mathbf{e}}_i+{\mathbf{r}}_{ij}-{\mathbf{e}}_j\Vert }_2\text{\hspace{1em}(9)}$$
  而对于 $g=\left(t_c\mid t_{s1},\cdots ,t_{sp}\right)$的计算式如下：
$$\begin{array}{c}I\left(t_s\right)=I\left(t_{s1}\wedge t_{s2}\right)=I\left(t_{s1}\right)\cdot I\left(t_{s2}\right)\\ I\left(t_s\Rightarrow t_c\right)=I\left(t_s\right)\cdot I\left(t_c\right)-I\left(t_s\right)+1\end{array}\text{\hspace{1em}(10)}$$
  其中 $d$ 嵌入学习的纬度.。类似的还可以获取关系的损失函数 ${\mathcal{L}}_r^{\prime }$ ，那么整体的损失函数如下:
$$\mathcal{L}={\mathcal{L}}_a+{\mathcal{L}}_r^{\prime }+{\mathcal{L}}_r\text{\hspace{1em}(11)}$$

6. Experiment

  在DBP15K与DWY100K上进行实验，对于种子关系对，用DBpedia上的官方公布的数据，对于DWY-YG，由于其关系数量小，手动对齐关系。数据统计如下：

  对于每个数据集，用**AMIE+**进行规则挖掘，得到的规则数量统计如下所示：

  其实验结果如下所示：

  原文中作者对其结果进行详细分析，通过分离实验对其提出的创新点进行分析对照，最后可以看到其提出的方法较以往的方法有较大的提升。本文提出的方法从不同方向考虑了实体嵌入学习的不足之处，然后提出相应的方法增强嵌入学习的准确性以及鲁棒性。