图卷积网络 Graph Convolutional Networks

半监督分类图卷积网络 Semi-supervised classification with graph convolutional networks

Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.

本文提出了一个基于卷积神经网络处理图结构数据的半监督学习算法，选择的卷积架构来自于对谱图卷积的局部一阶近似。

引言

考虑对图中的顶点分类问题，顶点集合的一个小子集具有标签。该问题可以设计为基于图的半监督学习，通过基于图的显式正则化方法对图上标签信息进行平滑，比如在损失函数中使用图Laplacian正则项：
$$\mathcal{L}={\mathcal{L}}_0+\lambda {\mathcal{L}}_{reg},with{\mathcal{L}}_{reg}=\sum _{i,j}{A}_{ij}||f(X_i)-f(X_j)|{|}^2=f(X{)}^T\Delta f(X).(1)$$，这里 ${\mathcal{L}}_0$ 表示带标签部分子图的监督损失。 $f(\cdot )$ 为可微函数， $\lambda$ 权重因子，$X$是节点特征向量 $X_i$ 构成的矩阵。$\Delta =D-A$ 表示无向图 $\mathcal{G}=(\mathcal{V}-\epsilon )$ 的拉普拉斯矩阵，邻接矩阵$A\in {\mathbb{R}}^{N\times N}$，度矩阵$D_{ii}={\sum }_j{A}_{ij}$。等式(1)依赖于图中相邻顶点共享相同的标签。

本文直接使用神经网络模型 $f(X,A)$ 对图结构编码，通过有监督的目标 ${\mathcal{L}}_0$对模型进行训练，规避了损失函数中基于图的显式正则项。

创新有两点。

• 通过对谱图卷积的一阶近似，引入了一个直接应用于图的层级神经网络传播规则。
• 证明了这种基于图神经网络模型可以应用到图上顶点的快速可拓展半监督分类任务。

图的快速近似卷积

对基于图的神经网络模型提供理论上的支持。考虑多层的图卷积神经网络(GCN)，传播规则可以表示为：
$$H^{(l+1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)}).(2)$$，其中$\tilde{A}=A+I_N$，${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$，$W^{(l)}$可训练的权重矩阵。$\sigma (\cdot )$表示激活函数，比如使用$ReLU(\cdot )=\max (0,\cdot )$。$H^{(l)}\in {\mathbb{R}}^{N\times D}$是激活矩阵，$H^{(0)}=X$。下面进行详细说明。

谱图卷积

考虑图上的谱卷积，由信号$x\in {\mathbb{R}}^N$和过滤器 $g_{\theta }=diag(\theta )$ 共同定义为：
$$g_{\theta }\star x=U{g}_{\theta }{U}^{T}x(3)$$其中$U$是标准化图拉普拉斯矩阵$L$的特征矩阵，$L=i_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^T$。
通过Chebyshev 多项式对上述卷积进行近似：
$$g_{{\theta }^{\prime }}\star x\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x(4)$$其中 $\tilde{L}=\frac{2}{{\lambda }_{max}}L-I_N,T_k(\tilde{L})=2\tilde{L}{T}_{k-1}(\tilde{L})-T_{k-2}(\tilde{L}),T_0(\tilde{L})=1,T_1(\tilde{L})=\tilde{L}$。

逐层线性模型

基于图卷积的神经网络模型可以通过等式(4)的模式堆积多个卷积层建立。每一层都是逐点非线性的。在这种方式下，虽然可以得到一系列丰富的卷积过滤函数，但是没有明确限制 Chebyshev 多项式的具体参数。

直观地期望这样的模型能够缓解过拟合的问题，主要针对顶点度分布跨度很大图的局部邻域结构，例如社交网络，引用网络，知识图谱等。
近似 ${\lambda }_{max}\approx 2$，$K=1$ 等式(4)可以线性简化为 ：
$$g_{{\theta }^{\prime }}\star x\approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }(L-I_N)x={\theta }_0^{\prime }x-{\theta }_1^{\prime }{D}^{-\frac{1}{2}A}{D}^{-\frac{1}{2}}x(5)$$其中${\theta }_0^{\prime }$和${\theta }_1^{\prime }$是两个自由参数。参数在全图上共享。
实际应用中可以通过限制参数的数量来达到预防过拟合的问题，同时最小化每层的运算次数。公式(5)可用下面公式替换表示：$$g_{\theta }\star x\approx \theta (I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x(6)$$其中 $\theta ={\theta }_0^{\prime }=-{\theta }_1^{\prime }$。 直接应用该迭代会导致数值的不稳定，在深度神经网络模型中可能会导致梯度爆炸或消失。为了减弱这个问题，了引入了重归一化技术：$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，其中$\tilde{A}=A+I_N,{\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$。
将上述定义进行推广，扩展到多信道的信号$X\in {\mathbb{R}}^{N\times C}$上，此时每个顶点都由$C$维特征组成，与之相对应的具有F个过滤器的映射如下：$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta (7)$$其中$\Theta \in {\mathbb{R}}^{C\times F}，Z\in {\mathbb{R}}^{N\times F}$。运算的复杂度是$o$$(|\epsilon$$|FC)$。

半监督顶点分类

上文中引入了图上简单有效灵活的信息传播模型$f(X,A)$，现重新研究顶点的半监督分类任务。期望这种模型能够在邻接矩阵中提取原始数据$X$中不存在的信息，例如引文网络中文档间的引用链接或知识图谱中的关系。用于半监督学习多层 GCN 的整体模型，由图1所示。

下面考虑两层 GCN 的半监督顶点分类问题，图的邻接矩阵是对称矩阵，数值可为二值的或权重的。在预处理时，计算$\hat{A}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，前向模型如下：$$Z=f(X,A)=softmax(\hat{A}ReLU(\hat{A}X{W}^{(0)})W^{(1)})(8)$$其中$W^{(0)}\in {\mathbb{R}}^{C\times H}$是输入层到隐层的权重矩阵，隐层具有$H$个特征，$W^{(1)}\in {\mathbb{R}}^{H\times F}$是隐层到输出层的权重矩阵。softmax激活函数定义为$softmax(x_i)=\frac{1}{Z}\exp (x_i),Z={\sum }_i\exp (x_i)$。对半监督多分类任务，采用交叉熵作为损失函数, ${\mathcal{Y}}_L$是有标签顶点的集合：$$\mathcal{L}=-\sum _{l\in {\mathcal{Y}}_L}\sum _{f=1}^F{Y}_{lf}\ln Z_{lf}(9)$$

使用梯度下降方法对神经网络权重矩阵进行训练。每个训练迭代步使用全部的数据进行训练，只要数据集能够只用于内存，这是一个可行的选项。

实验

通过大量实验对模型进行测试：

• 半监督文本分类-引文网络
• 半监督实体分类-知识图谱中提取的二部图
• 多种图传播模型评估
• 随机图运行时间分析

数据集

数据统计如Table 1示，引文网络数据集由Citeseer, Cora, Pubmed，顶点表示文档，便表示引用连接。

实验设置

训练两层的 GCN，在1000个有标签的测试集样本上评估预测准确率，最大迭代200个 epoch，使用 Adam 的方法学习率设置为0.01。

基线模型有：

• label propagation(LP)
• semi-supervised embedding(SemiEmb)
• manifold regularization(ManiReg)
• DeepWalk
• iterative classification algorithm(ICA)
• Planetoid

实验结果

Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.