图卷积神经网络(GCN)

背景

Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. ICLR, 2017.

模型

给定一个过滤器$f_{\theta }=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\theta )$ ，考虑信号$\mathbf{x}\in {\mathbb{R}}^d$ ，并且$\theta \in {\mathbb{R}}^d$ ， $d$ 表示向量的纬度。在图上的光谱卷积被定义为
$$f_{\theta }\ast \mathbf{x}=\mathbf{M}{f}_{\theta }{\mathbf{M}}^{\mathrm{T}}\mathbf{x}$$
$\mathbf{M}$是归一图拉普拉斯的特征向量矩阵。归一化的图拉普拉斯被表示为
$$\mathbf{L}=\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}=\mathbf{M}\Lambda {\mathbf{M}}^{\mathrm{T}}$$
$\Lambda$表示特征值的对角矩阵，${\mathbf{M}}^{\mathrm{T}}\mathbf{x}$是信号$\mathbf{x}$的傅里叶域。

$f_{\theta }(\Lambda )$由于计算$\mathbf{L}$的特征分解花费的计算资源是比较昂贵的，为解决这个问题，可以对$f_{\theta }(\Lambda )$ 进行近似操作，近似后，被定义为：
$$f_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{{\theta }^{\prime }}_k{\mathrm{C}}_k(\tilde{\Lambda })$$
${\theta }^{\prime }\in {\mathbb{R}}^K$ 是一个切比雪夫系数组成的向量。 ${\mathrm{C}}_k(\cdot )$被定义为：
$${\mathrm{C}}_k(x)=2x{\mathrm{C}}_{k-1}(x)-{\mathrm{C}}_{k-2}(x)$$
其中，${\mathrm{C}}_0(x)=1$ ，${\mathrm{C}}_1(x)=x$ 。

我们定义的过滤器$f_{{\theta }^{\prime }}$对于信号$\mathbf{x}$的卷积定义为：
$$f_{{\theta }^{\prime }}\ast \mathbf{x}\approx \sum _{k=0}^K{{\theta }^{\prime }}_k{\mathrm{C}}_k(\tilde{\mathbf{L}})\mathbf{x}$$
$\tilde{\mathbf{L}}=\frac{2}{{\lambda }_{\max }}\mathbf{L}-\mathbf{I}$。在GCN中${\lambda }_{\max }$被近似等于2。
通过${\lambda }_{\max }$ 的近似操作，我们可以得到
$$\tilde{\mathbf{L}}=\mathbf{L}-\mathbf{I}$$
所以可以得到
$$f_{{\theta }^{\prime }}\ast \mathbf{x}\approx {\theta }_0^{\prime }\mathbf{x}+{\theta }_1^{\prime }(\mathbf{L}-\mathbf{I})\mathbf{x}={\theta }_0^{\prime }\mathbf{x}-{\theta }_1^{\prime }{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}\mathbf{x}$$
为更好的对参数进行约束，因此可以重新表达为
$$f_{{\theta }^{\prime }}\ast \mathbf{x}\approx \theta (\mathbf{I}+{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}})\mathbf{x}$$
值得注意的是${\theta }_0^{\prime }$，$ - {\theta '_1}$都可以被表达为 $\theta$ 。为缓解梯度消失的问题，图卷积神经网络中引入一个重新归一化的技巧，将 $\mathbf{I}+{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$ 改写为${\tilde{\mathbf{D}}}^{-\frac{1}{2}}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-\frac{1}{2}}$。

Graph Convolution Neural Networks ，给定输入$\mathcal{G}(\mathcal{V},\mathcal{E})$，输入节点的特征表示为 ${\mathbf{x}}_v$, $\forall v\in \mathcal{V}$，$\forall u\in \mathcal{N}(v)$, 表示$v$的邻接节点。我们重新初始化多维度的向量权重。特征矩阵被表示为$\mathbf{X}$，$\mathbf{X}\in {\mathcal{R}}^{n\times d}$ 。对于无向图表示，我们使用 $\mathbf{A}$表示邻接矩阵的连接关系。其中，$\hat{\mathbf{A}}={\tilde{\mathbf{D}}}^{-\frac{1}{2}}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-\frac{1}{2}}$ ，${{\bf{\tilde D}}{ii}} = \sum\nolimits_j {{{{\bf{\tilde A}}}{ij}}} $ ， $\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{I}$。GCN在网络中信息的传播可以被表述为
$${\mathbf{H}}^{(l+1)}=\sigma (\hat{\mathbf{A}}{\mathbf{H}}^{(l)}{\mathbf{W}}^{(l)})$$
${\mathbf{H}}^{(0)}=\mathbf{X}$，$\sigma (\cdot )$ 表示为ReLu激活函数。

图卷积神经网络通过局部一阶近似谱卷积得到一种新的卷积结构，这种卷积结构可以更好的学习节点特征的嵌入，并在引文网络和知识图谱的数据集中达到更优异的性能。在图卷积网络中，邻接矩阵与特征的卷积可在网络训练之前被计算，这样可以更少的引入网络的计算量。除此以外，图卷积网络使用全部样本计算梯度，因此可以使用全部邻域进行卷积。对于批量样本训练时，仅需要考虑部分邻域卷积。

代码

https://github.com/ChenaniahMe/codes/tree/main/GNN/comgcn