GCN推导

Graph Convolutional Neural Network

Convolutional Neural Network

传统的cnn针对的是分布在欧式空间（Euclidean domains）的数据，这些数据最显著的特征就是具有规则的空间结构，例如图像是规则的二维矩阵，语音是规则的一维序列等。这些Euclidean domains data可以用一维或二维矩阵来表示，cnn可以非常高效地处理。

• 平移不变性（translation invariance）：无论输入怎么变形（平移，旋转等），输出都不变，网络越深平移不变性越明显；
• 平移可变性（translation variance）：针对目标检测地，比如一只猫在图像中从左侧移到了右侧，网络检测出的猫的坐标发生了变化。

离散卷积本质上就是一种加权求和。cnn中的卷积是一种离散卷积，本质上是利用过一个共享参数的滤波器（kernel），通过计算中心像素点以及相邻像素点的加权和，来构成feature map，实现空间特征的抽取。当然加权系数就是卷积核的权重系数（W）。

卷积核的参数W随机初始化后，通过网络最小化误差函数，经过反向传播，梯度下降法进行迭代优化。所以说，通过优化卷积核的参数，从而实现特征抽取。GCN的理论很大部分工作是引入了可以优化的卷积参数。

Graph Convolutional Neural Network

Non-Euclidean Domain data：生活中大量的数据不具备规则的空间结构，例如推荐系统、电子交易、分子结构等抽象出来的图谱。这些图谱中的每个节点连接不尽相同，有的节点有三个连接，有的节点只有一个连接，是不规则的结构。对于这些不规则的数据对象，传统卷积网络的效果不尽人意。CNN卷积操作配合pooling等在结构规则的图像等数据上效果显著，但是在非欧氏空间比如图(即graph，流形也是典型的非欧结构，这里只考虑图)，难以选取固定的卷积核来适应整个图的不规则性，如邻居节点数量的不确定和节点顺序的不确定。

Graph数据的空间特征：

1. 节点特征：每个节点有自己的特征（体现在Node）；
2. 结构特征：图数据中的每个节点具有结构特征，即节点与节点之间存在连接（Graph中的Eadge）。总的来说，Graph数据既要考虑节点信息，又要考虑结构信息。GCN网络可以自动化地学习节点特征，又能学习节点之间的关联信息。

综上，图卷积的核心思想是利用边的信息对节点信息进行聚合从而生成新的节点表示。

GCN的两种理解方式

GCN的本质目的就是用来提取拓扑图的空间特征：

1. 基于空间域（Spatial Domain）的GCN；
2. 基于频谱域（Spectral Domain）的GCN。

基于spatial domain的gcn可以类比到直接在图片的像素点上进行卷积，而基于spectral domain的gcn类比到对图片的像素点进行傅里叶变换后，再进行卷积。

空间域（Spatial Domain）：

基于spatial domain的gcn直接将卷积定义在各个节点的边（连接关系）上，跟传统的cnn更相似一些。比较有代表性的方法有：

• Message Passing Neural Network (MPNN);
• GraphSAGE;
• Diffusion Convolution Neural Networks（DCNN）;
• Patchy-SAN.

频谱域（Spectral Domain）：

通过Spectral Graph Thesis（图谱理论）来实现拓扑图上的卷积操作。Spectral Graph Thesis通过Graph的Laplacian Matrix的特征值和特征向量来研究Graph的性质。GSP（Graph Signal Processing）定义了graph上的傅里叶变换（Fourier Transformation），进而定义了graph上的卷积。

Laplacian Matrix

对于Graph：$G=(V,E)$，其Laplacian矩阵：$L=D-A$，其中$L$是Laplacian矩阵，$D:d_{ii}={\sum }_j{A}_{ij}$是节点的度量矩阵，$A$是邻居矩阵。

无向图的拉普拉斯矩阵性质

1. 拉普拉斯矩阵是半正定矩阵（最小特征值大于等于0）$f^{T}Lf\ge 0$:
   $$\begin{gathered} f^{T}Lf=f^{T}Df-f^{T}Af=f^T\text{diag}(D)f-f^{T}Af \\ =\sum _{i=1}^n{d}_i{f}_i^2-\sum _{j=1}^n[\sum _{i=1}^n{f}_j\ast a_{ij}]f_j=\sum _{i=1}^n{d}_i{f}_i^2-\sum _{i,j=1}^n{f}_i\ast f_j\ast a_{ij} \\ =\frac{1}{2}[\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i,j=1}^n{f}_i{f}_j{a}_{ij}+\sum _{j=1}^n{d}_j{f}_j^2] \\ =\frac{1}{2}\sum _{i,j=1}^n{a}_{ij}(f_i-f_j{)}^2 \end{gathered}$$
   所以，对于任意一个向量$f\in {\mathbb{R}}^n$，都有：
   $$f^{T}Lf=\frac{1}{2}\sum _{i,j=1}^n{a}_{ij}(f_i-f_j{)}^2$$

2. 特征值中0出现的次数就是Graph连通区域的个数。

3. 最小特征值是0。

拉普拉斯矩阵是对称矩阵，可以进行特征分解（谱分解）。由于卷积在傅里叶域的计算相对简单，为了在graph上做傅里叶变换，需要找到graph的连续的正交基对应于傅里叶变换的基，因此要使用拉普拉斯矩阵的特征向量。

拉普拉斯矩阵的谱分解（特征分解）

特征分解（Eigenvalue Decomposition），又称谱分解（Spectral Decomposition），是将矩阵分解为其特征值和特征向量矩阵之积的方法。

只有可对角化矩阵或有$n$个线性无关的特征向量的矩阵才可以特征分解。矩阵可以进行特征分解的充要条件是$n$阶方阵存在$n$个线性无关的特征向量。由于拉普拉斯矩阵是半正定（半正定矩阵本身就是对称矩阵），有如下三个性质：

• 对称矩阵一定n个线性无关的特征向量
• 半正定矩阵的特征值一定非负
• 对阵矩阵的不同特征值对应的特征向量相互正交，这些正交的特征向量构成的矩阵为正交矩阵。

拉普拉斯矩阵的谱分解：
$$L=U\Lambda U^{-1}=U\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]U^{-1}$$
其中$U=({\vec{u}}_1,{\vec{u}}_2,\dots ,{\vec{u}}_n)$是正交矩阵，$\Lambda$是由$n$个特征值构成的对角阵。由于$U{U}^T=I$，所以$$L=U\Lambda U^{-1}=U\Lambda U^T$$。

拉普拉斯算子

定义：拉普拉斯算子是$n$维欧几里德空间中的一个二阶微分算子，定义为梯度($\nabla f$)的散度（$\nabla \cdot f$，即$\nabla f\cdot f$）。故如果$f$是二阶可微的实函数，则$f$的拉普拉斯算子$\Delta$定义为：
$$\Delta f={\nabla }^{2}f=\nabla \cdot \nabla f$$
$f$的拉普拉斯算子也是笛卡尔坐标系$x_i$中所有非混合二阶偏导数：
$$\Delta f=\sum _{i=1}^n\frac{{\partial }^{2}f}{\partial x_i^2}$$
函数$f$的拉普拉斯算子，也等于该函数的海森矩阵的迹：
$$\Delta f=\text{trace}(H(f))$$

卷积

连续形式的一维卷积

两个函数中的一个(取$g(x)$，可以任意取)函数，把$g(x)$经过翻转平移,然后与$f(x)$的相乘，得到的一个新的函数，对这个函数积分，也就是对这个新的函数求它所围成的曲边梯形的面积。

设$f(t),g(t)$是两个可积函数，$f(t)$与$g(t)$的卷积记为$f(t)\ast g(t)$，它是其中一个函数翻转并平移后与另一个函数乘积的积分，是一个自变量是平移量的函数。也就是：
$$f(t)\ast g(t)={\int }_{-\infty }^{+\infty }f(\tau )g(t-\tau )d\tau ={\int }_{-\infty }^{+\infty }f(t-\tau )g(\tau )d\tau$$

离散形式的一维卷积

$$(f\ast g)(t)=\sum _{\tau =-\infty }^{+\infty }f(\tau )g(t-\tau )$$

所谓卷积，其实就是把一个函数卷(翻)过来，然后与另一个函数求内积。

$g$函数既可以看作deep learning中的kernel（核），也可以对应到信号处理中的filter（滤波器）。而$f$函数是机器学习中的Feature（特征），也可以是信号处理中的Signal。函数$f$和$g$的卷积$f\ast g$就可以看作是对$f$的加权求和：

傅里叶变换

连续形式的傅里叶变换

任意函数可以分解为奇偶函数之和：
$$f(x)=\frac{f(x)+f(-x)}{2}+\frac{f(x)-f(-x)}{2}=f_{even}+f_{odd}$$
任意一个周期函数可以由若干个正交函数（由$sin$，$cos$构成）的线性组合构成，写出傅里叶级数的形式：
$$f(x)=a_0+\sum _{n=1}^{\infty }(a_{n}cos(\frac{2\pi n}{T}x)+b_{n}sin(\frac{2\pi n}{T}x)),a_0\in \mathbb{R}$$
利用欧拉公式$e^{ix}=\text{cos}x+i\text{sin}x$:
$$\text{cos}x=\frac{e^{ix}+e^{-ix}}{2},\text{sin}x=\frac{e^{ix}-e^{-ix}}{2i}$$

• 在时间轴$t$上，把$e^{it}$向量的虚部记录下来，得到$sin(t$):
  

• 实部记录下来，得到$cos(t)$:

  

更一般的：
$$e^{iwt}⟺\{\begin{array}{l}\text{sin}(wt)\\ \text{cos}(wt)\end{array}$$
这两种角度，一个可以观察到旋转的频率，所以称为频域；一个可以看到流逝的时间，所以称为时域：

**任意周期函数可以表示为以$e^{iwt}$为基函数，用傅里叶级数的指数形式。**即，对于一个周期函数$f(x)$可以表示为傅里叶级数的指数形式：
$$f(x)=\sum _{n=-\infty }^{\infty }\underset{基的坐标}{\underbrace{c_n}}\cdot \underset{正交基}{\underbrace{e^{i\frac{2\pi nx}{T}}}}$$
对于非周期函数：

$$f(x)={\int }_{-\infty }^{+\infty }[{\int }_{-\infty }^{+\infty }f(x)e^{-iwt}dx]e^{iwt}dw={\int }_{-\infty }^{+\infty }F(w)e^{iwt}dw$$
其中**$F(w)$就是$f(x)$的连续形式的傅里叶变换:**
$$F(w)=\mathcal{F}[f(x)]={\int }_{-\infty }^{+\infty }f(x)e^{-iwt}dx$$
由上述公式可以看出，$f(x)$和$F(w)$可以通过指定的积分运算相互表达：
$$F(w)=\mathcal{F}(f(x)),f(x)={\mathcal{F}}^{-1}[F(w)]$$

• $F(\omega )$叫做$f(x)$的象函数或傅里叶变换，即通过傅里叶变换后关于频率的函数，函数图像就是频谱图，$w$就是$f$对应在频域中的频率；
• $f(x)$叫做$F(w)$的原象函数。

其实可以发现这个对信号$f(x)$的傅立叶变换$F(w)$形式上是$f(x)$与基函数$e^{-iwx}$的积分，本质上将函数$f(x)$映射到了以$e^{-iwx}$为基向量的空间中。

频域（Frequency Domain）和时域（Time Domain）的理解

周期性离散傅里叶变换

Graph上的傅里叶变换及卷积

把传统的傅里叶变换以及卷积迁移到Graph上来，核心工作其实就是把拉普拉斯算子的特征函数$e^{-iwt}$变为Graph对应的拉普拉斯矩阵的特征向量。

傅立叶变换与拉普拉斯矩阵的关系：传统傅立叶变换的基，就是拉普拉斯矩阵的一组特征向量。

Graph上的傅里叶变换

Graph上傅里叶变换的矩阵形式

利用矩阵乘法将Graph上的傅里叶变换推广到矩阵形式：
$$⟮\begin{array}{c}\hat{f}({\lambda }_1)\\ \hat{f}({\lambda }_2)\\ ⋮\\ \hat{f}({\lambda }_N)\end{array}⟯=⟮\begin{array}{cccc}{u}_1(1)& u_1(2)& \dots & u_1(N)\\ u_2(1)& u_2(2)& \dots & u_2(N)\\ ⋮& ⋮& \ddots & ⋮\\ u_N(1)& u_N(2)& \dots & u_N(N)\end{array}⟯⟮\begin{array}{c}f(1)\\ f(2)\\ ⋮\\ f(N)\end{array}⟯$$
即$f$在Graph上傅里叶变换的矩阵形式为：
$$\hat{f}=U^{T}f$$

Graph行的傅里叶逆变换的矩阵形式

$$⟮\begin{array}{c}f(1)\\ f(2)\\ ⋮\\ f(N)\end{array}⟯=⟮\begin{array}{cccc}{u}_1(1)& u_2(1)& \dots & u_N(1)\\ u_1(2)& u_1(2)& \dots & u_N(2)\\ ⋮& ⋮& \ddots & ⋮\\ u_1(N)& u_2(N)& \dots & u_N(N)\end{array}⟯⟮\begin{array}{c}\hat{f}({\lambda }_1)\\ \hat{f}({\lambda }_2)\\ ⋮\\ \hat{f}({\lambda }_N)\end{array}⟯$$

即$f$在Graph上的傅里叶逆变换的矩阵形式为：
$$f=U\hat{f}$$

Graph上的傅里叶变换到GCN

在上面的基础上，利用卷积定理类比来将卷积运算，推广到Graph上。

卷积定理：函数卷积的傅里叶变换是函数傅立叶变换的乘积，即对于函数$f$与$g$两者的卷积是其函数傅立叶变换乘积的逆变换：
f ∗ g = F − 1 { F ( f ) ⋅ F ( g ) } = F − 1 { f ^ ⋅ g ^ } f*g=\mathcal F^{-1}\{\mathcal F(f)\cdot\mathcal F(g)\}=\mathcal F^{-1}\{\hat f\cdot\hat g\} f∗g=F−1{F(f)⋅F(g)}=F−1{f^​⋅g^​}
所以对Graph上的$f$和卷积核$g$的卷积操作可以表示为：
$$(f\ast g{)}_G=U((U^{T}f)(u^{T}g))=U^{T}f{U}_{g\theta }$$

Deep Learning中的GCN:

$$g_{\theta }\ast x=U_{g\theta }{U}^{T}x=U⟮\begin{array}{ccc}\hat{g}({\lambda }_1)& & \\ & \ddots & \\ & & \hat{g}({\lambda }_n)\end{array}⟯U^{T}x$$

Deep Learning中的卷积就是要设计含有trainable共享参数的kernel。

上式计算量很大，特征向量矩阵$U$的复杂度是$O(N^2)$。此外，对于大型graph来说，拉普拉斯矩阵$L$特征分解的计算量也很大。

Spectral CNN

简单的说，Spectral CNN把$g_{\theta }$看作是一个可学习参数的集合：$g_{\theta }={\Theta }_{i,j}^k$，gcn定义为：
$$X_{:,j}^{k+1}=\delta (\sum _{i=1}^{f_{k-1}}U{\Theta }_{i,j}^k{U}^T{X}_{:,j}^k)$$

• $X^k\in {\mathbb{R}}^{N\times f_{k-1}}$是输入，对应Graph上就是节点的输入特征；
• $N$是节点数量；
• $f_{k-1}$是输入通道的数量；
• $f_k$是输出通道的数量；
• ${\Theta }_{i,j}^k$是一个可学习参数的对角矩阵，初始化赋值后，利用误差反向传播迭代优化；
• $\delta (\cdot )$是激活函数。

第一代的参数方法存在着一些弊端，主要在于：

1. 计算复杂：如果一个样本一个图，那么每个样本都需要进行图的拉普拉斯矩阵的特征分解求$U$矩阵计算复杂；每一次前向传播，都要计算$U,diag({\Theta }_{\ell })$及 $U^T$ 三者的乘积，特别是对于大规模的graph，计算的代价较高，需要$\mathcal{O}(n^2)$的计算复杂度；
2. 是非局部性连接的；
3. 卷积核需要N个参数，当图中的节点N很大时是不可取的。

Chebyshev谱CNN

定义特征向量对角矩阵的切比雪夫多项式为滤波器：
$$g_{\theta }=g_{\theta }(\Lambda )\approx \sum _{i=0}^{K-1}{\theta }_i{T}_k(\tilde{\Lambda })$$
其实就是利用Chebyshev多项式拟合卷积核的方法，来降低计算复杂度。

推导过程如下：
$$g_{\theta }\ast x=U{g}_{\theta }{U}^{T}x$$
其中

• $U$是对称归一化的拉帕拉斯矩阵$L$的特征向量矩阵，$\Lambda$是由$L$的特征值构成的对角矩阵
  $$L=D^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}}=I_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^T$$
  因为$L$是对称矩阵，所以特征向量矩阵$U$是正交矩阵：$U{U}^T=I_N$；

• $U^{T}x$是$x$的傅里叶变换；

• $g_{\theta }=g_{\theta }(\Lambda )$是由参数$\theta$构成的对角矩阵$\text{diag}(\theta )$。

公式\eqref{eq:chebyshev}的计算量也很大，因为特征向量矩阵$U$的复杂度是$O(N^2)$，此外，对于大型graph，$L$特征值分解的计算量也很大。

为解决这个问题，Wavelets on graphs via spectral graph theory提出$g_{\theta }(\Lambda )$可以很好的通过Chebyshev多项式$T_k(x)$的$Kth-$阶截断展开来拟合，并对$\Lambda$进行尺度变换使其元素位于$[-1,1]$：
$$g_{\theta }(\Lambda )\approx \sum _{k=0}^K{\theta }_k{T}_K(\tilde{\Lambda })$$
其中

• $\tilde{\Lambda }=2\frac{\Lambda }{{\lambda }_{max}}-I_N$为缩放后的特征向量矩阵，缩放的目的是为了满足Chebyshev多项式$T_k(x)$的$K^{th}$阶截断展开条件：自变量范围要在$[-1,1]$之间；
• ${\lambda }_{max}$是$L$的最大特征值，也叫谱半径；
• $\theta \in {\mathbb{R}}^K$是切比雪夫系数的向量；
• Chebyshev多项式递归定义为：$T_k(x)=2x{T}_{k-1}-T_{k-2}(x)$，其中$T_0(x)=1,T_1(x)=x$。

则Chebyshev在graph上卷积：
$$g_{\theta }\ast x=\sum _{k=0}^K{\theta }_k{T}_K(\tilde{L})x$$
其中

• $\tilde{L}=2\frac{L}{{\lambda }_{max}}-I_N=U\tilde{\Lambda }{U}^T$；
• $(U\Lambda U^T{)}^k=U{\Lambda }^k{U}^T$。

现在，相比于第一种Spectral CNN：

• 此表达式现在是$K-localized$，具有局部连接性，因为它是拉普拉斯算子中的$Kth$-阶多项式，即它仅取决于离中央节点($Kth$阶邻域)最大$K$步的节点
  $T_K(\tilde{L})x$的复杂度是$O(|E|)$，即与边数$E$呈线性关系，整个运算的复杂度是$O(K|E|)$。当graph是稀疏图的时候，计算加速尤为明显，这个时候复杂度远低于$O(n^2)$。

公式\eqref{eq:cheby0}公式\eqref{eq:cheb}的证明：

1. 先用数学归纳法证明：

   $$U{T}_k(\tilde{\Lambda })U^T=T_k(U\tilde{\Lambda }{U}^T)$$

   证明：

   由切比雪夫多项式的定义，已知：

   $$U{T}_0(\tilde{\Lambda })U^T=U{U}^T=1=T_0(U\tilde{\Lambda }{U}^T)$$

   $$U{T}_1(\tilde{\Lambda })U^T=U\tilde{\Lambda }{U}^T=T_1(U\tilde{\Lambda }{U}^T)$$

   假设对于任意$k>0$，满足：

   $$U{T}_{k-2}(\tilde{\Lambda })U^T=T_{k-2}(U\tilde{\Lambda }{U}^T)$$

   $$U{T}_{k-1}(\tilde{\Lambda })U^T=T_{k-1}(U\tilde{\Lambda }{U}^T)$$

   则：
   $$\begin{array}{rl}U{T}_k(\tilde{\Lambda })U^T& =2U\tilde{\Lambda }{T}_{k-1}(\tilde{\Lambda })U^T-U{T}_{k-2}(\tilde{\Lambda })U^T\\ & =2(U\tilde{\Lambda }{U}^T)[U{T}_{k-1}(\tilde{\Lambda })U^T]-U{T}_{k-2}(U\tilde{\Lambda }{U}^T)\\ & =T_k(U\tilde{\Lambda }{U}^T)\end{array}$$
   证毕。

2. 已知$$\tilde{L}=U\tilde{\Lambda }{U}^T$$
   $$\begin{array}{rl}{g}_{\theta }\ast x& =U{g}_{\theta }{U}^{T}x=U{g}_{\theta }(\Lambda )U^{T}x\\ & =U(\sum _{k-0}^K{\theta }_k{T}_K(U\tilde{\Lambda }{U}^T))U^{T}x\\ & =\sum _{k=0}^K{\theta }_k{T}_K(\tilde{L})x\end{array}$$

CayleyNet

CayleyNet进一步应用了参数有理符合函数的Cayley多项式来捕获狭窄的频带，其谱图卷积定义为：

$$x\ast g_{\theta }=c_{0}x+2\text{Re}⟮\sum _{j=1}^r{c}_j(hL-iI{)}^j(hL+iI{)}^{-j}x⟯$$

$1st$ChebNet-GCN

Semi-supervised classification with graph convolutional networks,nips17是GCN的开山之作：

• 作者对于直接操作于图结构数据的网络模型，根据频谱图卷积(Hammond等人于2011年提出的Wavelets on graphs via spectral graph theory)，使用一阶近似简化计算的方法，提出了一种简单有效的层式传播方法。
• 作者验证了图结构神经网络模型可用于快速可扩展式的处理图数据中节点半监督分类问题，作者通过在一些公有数据集上验证了自己的方法的效率和准确率能够媲美现有的顶级半监督方法。

Kipf等人引入了一种一阶近似ChebNet，假设$K=1,{\lambda }_{max}=2$，则ChebNet卷积公式简化为：
$$x\ast g_{\theta }={\theta }_{0}x-{\theta }_1{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$$
为防止过拟合，$1st$ChebNet假设$\theta ={\theta }_0=-{\theta }_1$:
$$g_{\theta }\ast x=\theta (I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$$
其中

• $I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$由在$[0,2]$范围内的特征值，如果在dnn中反复使用该计算方式，会导致数值不问题，进而引起梯度发散和梯度爆炸/消失等，为解决该问题，ChebNet引入了一个re-normalization trick：

  $I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\stackrel{\tilde{A}=A+I_N}{⟶}{\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$

• $\tilde{A}=A+I_N,{\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$，即graph中加上自环。再加上一个激活函数，即得到ChebNet的快速卷积公式：
  KaTeX parse error: Undefined control sequence: \label at position 106: …(l)}W^{(l)}) \̲l̲a̲b̲e̲l̲{eq:chebnet}

将定义KaTeX parse error: Undefined control sequence: \eqref at position 1: \̲e̲q̲r̲e̲f̲{eq:chebnet}推广到具有$C$个输入通道（即每个节点为$C$维特征向量）的信号$X\in {\mathbb{R}}^{N\times C}$和$F$个滤波器：
$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$$
其中：

• $\Theta \in {\mathbb{R}}^{N\times F}$是一个filter的参数矩阵，实际上就是$W$；
• $Z\in {\mathbb{R}}^{N\times F}$是卷积的输出。

带一阶滤波器的多层GCN结构如下：

Input：Feature matrix $X\in {\mathbb{R}}^{N\times D}$, preprocessed adjacency matrix $\tilde{A}$

实验

使用一个俱乐部会员的关系网络，使用随机初始化的GCN抽取特征，得到各个节点的embedding，可视化如下如：

经过GCN提取出的特征，已经自动聚类：

在semi-supervised设定下，只提供一个样本标签：

总结

1. GCN的优点

   • **权值共享，参数共享：**从$AXW$可以看出每个节点的参数矩阵都是$W$；
   • **局部连接:**每次聚合的只是一阶邻居；
   • **感受野正比于卷积层层数：**第一层的节点只包含与直接相邻节点有关的信息，第二层以后，每个节点还包含相邻节点的相邻节点的信息，这样的话，参与运算的信息就会变多。层数越多，感受野越大，参与运算的信息量越充分。也就是说随着卷积层的增加，从远处邻居的信息也会逐渐聚集过来。
   • 复杂度大大降低，不用再计算拉普拉斯矩阵，特征分解。

2. 不足：

   • **扩展性差：**由于训练时需要需要知道关于训练节点、测试节点在内的所有节点的邻接矩阵AAA，因此是transductive的，不能处理大图，然而工程实践中几乎面临的都是大图问题，因此在扩展性问题上局限很大，为了解决transductive的的问题，GraphSAGE：Inductive Representation Learning on Large Graphs被提出；

   • **局限于浅层：**GCN论文中表明，目前GCN只局限于浅层，实验中使用2层GCN效果最好。为了加深，需要使用残差连接等trick，但是即使使用了这些trick，也只能勉强保存性能不下降，并没有提高。

     ​ Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning一文也针对When GCNs Fail ？这个问题进行了分析。

     ​ 论文：DeepGCNs-Can GCNs Go as Deep as CNNs?就是解决GCN局限于浅层的这个问题的，但个人觉得并没有解决实质性的问题，这方面还有值得研究的空间。

GCN的改进

邻接矩阵$A$：

Adaptive Graph Convolution Network (AGCN)

自适应GCN(AGCN, AAAI18)利用残差图来扩充图。残差图是通过计算节点对的距离来构造，计算量为$O(N^2)$。自适应图卷积网络(AGCN)通过图的邻接矩阵学习未知的隐藏结构关系。它通过一个以两个节点的特征为输入的可学习的距离函数来构造一个所谓的残差图邻接矩阵。

Dual Graph Convolutional Network(DGCN)

对偶图卷积网络(DGCN)引入了一种对偶图卷积结构，该结构具有两个并行的图卷积层。虽然这些对偶层共享参数,他们使用归一化了的邻接矩阵$A$，和归一化了的节点态互信息(PPMI)的共生矩阵提取节点随机游走。DGCN通过对偶图卷积层的集成输出，无需叠加多个图卷积层即可捕获局部和全局结构信息。

Spatial Domain GCN

Neural Network for Graphs (NN4G)

**NN4G是第一个基于Spatial Domain的ConvGNNs，**通过直接聚合节点的邻域信息来实现Graph的卷积。此外，还应用剩余链接和跳跃连接来记忆每一层的信息：
KaTeX parse error: Undefined control sequence: \label at position 121: …^{(k-1)}\Bigg) \̲l̲a̲b̲e̲l̲{eq:nn4g}

• $f(\cdot )$是激活函数；
• ${\mathbf{h}}_{\mathbf{v}}^{(0)}=0$。

公式KaTeX parse error: Undefined control sequence: \eqref at position 1: \̲e̲q̲r̲e̲f̲{eq:nn4g}写成矩阵形式：
$${\mathbf{H}}^{(\mathbf{k})}=\mathbf{f}(\mathbf{X}{\mathbf{W}}^{(\mathbf{k}-1)}+\sum _{\mathbf{i}=1}^{\mathbf{k}-1}\mathbf{A}{\mathbf{H}}^{(\mathbf{k}-)}{\mathbf{\Theta }}^{(\mathbf{k}-1)})$$

Diffusion Convolutional Neural Network (DCNN)扩散卷积神经网络

DCNN将图卷积看作一个扩散过程，假设信息以一定的转移概率，从一个节点转移到相邻的一个节点，使信息分布在几轮后达到均衡。DCNN将扩散图卷积定义为：
$${\mathbf{H}}^{(\mathbf{k})}=\mathbf{f}({\mathbf{w}}^{(\mathbf{k})}\odot {\mathbf{P}}^{(\mathbf{k})}\mathbf{X})$$

• 概率转移矩阵$\mathbf{P}={\mathbf{D}}^{-1}\mathbf{A}\in {\mathbb{R}}^{\mathbf{n}\times \mathbf{n}}$;
• 在DCNN中，隐式表示矩阵KaTeX parse error: Can't use function '\H' in math mode at position 1: \̲H̲^{(k)}和输入矩阵KaTeX parse error: Undefined control sequence: \X at position 1: \̲X̲具有相同的维度，不是前一层隐式表示矩阵KaTeX parse error: Can't use function '\H' in math mode at position 1: \̲H̲^{(k-1)}的函数；
• DCNN将${\mathbf{H}}^{(1)},{\mathbf{H}}^{(2)},\dots ,{\mathbf{H}}^{(\mathbf{k})}$连接起来为模型的最终输出。

**扩散图卷积：**DCNN扩散过程的平稳分布，是概率转移矩阵的幂级数的总和。因此扩散图卷积(Diffusion Graph Convolution, DGC)将每个扩散步骤的输出相加，而不是拼接。它定义扩散图卷积为：
$$\mathbf{H}=\sum _{\mathbf{k}=0}^{\mathbf{k}}\mathbf{f}\left({\mathbf{P}}^{\mathbf{k}}\mathbf{X}{\mathbf{W}}^{(\mathbf{k})}\right)$$

GraphSAGE

GraphSage(Inductive representation learning on large graphs，NIPS 2017)引入聚合函数的概念定义图形卷积。聚合函数本质上是聚合节点的邻域信息，需要满足对节点顺序的排列保持不变，例如均值函数，求和函数，最大值函数都对节点的顺序没有要求。图的卷积运算定义为:
$${\mathbf{h}}_{\mathbf{v}}^{(\mathbf{k})}=\delta ({\mathbf{W}}^{(\mathbf{k})}\cdot {\mathbf{f}}_{\mathbf{k}}({\mathbf{h}}_{\mathbf{v}}^{(\mathbf{k}-1)},\{{\mathbf{h}}_{\mathbf{u}}^{(\mathbf{k}-1)},\forall \mathbf{u}\in {\mathbf{S}}_{\mathcal{N}(\mathbf{v})}\}\left)\right)$$

• ${\mathbf{h}}_{\mathbf{v}}^{(0)}={\mathbf{x}}_{\mathbf{v}}$;
• $f_k(\cdot )$是聚合函数，不受节点排序的影响（如均值，求和或最大值）；
• $S_{{\mathcal{N}}_{(v)}}$表示节点$v$的邻居节点，的随机采样。

**通常GCN这样的训练函数需要将整个图数据和所有节点中间状态保存到内存中。特别是当一个图包含数百万个节点时，针对ConvGNNs的full-batch训练算法受到内存溢出问题的严重影响。为了节省内存，GraphSage提出了一种batch训练算法。它将节点看作一棵树的根节点，然后通过递归地进行K步邻域扩展，扩展时保持采样大小固定不变。对于每一棵采样树，GraphSage通过从下到上的层次聚集隐含节点表示来计算根节点的隐含表示。**首先，对一个节点的$k-hop$邻居节点采样；然后通过聚合其邻居节点的信息，来更新中心节点的最终状态；最后利用中心节点的最终状态计算误差，反向传播更新网络。

Graph Attention Network (GAT)图注意力网络

GAT在聚合邻居节点信息时，使用注意力机制确定每个邻居节点对中心节点的重要性，即权重：
$${\mathbf{h}}_{\mathbf{v}}^{(0)}=\delta \left(\sum _{\mathbf{u}\in \mathcal{N}(\mathbf{v})\cup \mathbf{v}}{\alpha }_{\mathbf{v}\mathbf{u}}{\mathbf{W}}^{(\mathbf{k}-1)}{\mathbf{h}}_{\mathbf{u}}^{(\mathbf{k}-1)}\right)$$
其中

• ${\mathbf{h}}_{\mathbf{v}}^{(0)}={\mathbf{x}}_{\mathbf{v}}$;

• ${\alpha }_{vu}$表示节点$v$与其邻居节点$u$之间连接的权重：

  $${\alpha }_{vu}=\text{softmax}\left(g\right({\mathbf{a}}^{\mathbf{T}}[{\mathbf{W}}^{(\mathbf{k}-1)}{\mathbf{h}}_{\mathbf{v}}\Vert {\mathbf{W}}^{(\mathbf{k}-1}{\mathbf{h}}_{\mathbf{u}}\Vert ]\left)\right)$$

• $g(\cdot )$是LeakReLU激活函数；

• $\mathbf{a}$是一个科学系的参数向量。

Softmax函数可以保证节点$v$的所有邻居节点的注意力权值之和为1。GAT使用了multi-head注意力方式，并以concat方式对不同注意力节点进行整合，提高了模型的表达能力，在节点分类任务上比GraphSAGE有了明显的提升。

上图展示了GCN和GAN在聚合邻居节点信息时候的不同。

• 图（a）是GCN(Semi-supervised classification with graph convolutional networks)在聚合过程中，给节点$v_i$的邻居节点$v_j$分配了一个非参数的权重$a_{ij}=\frac{1}{\sqrt{deg(v_i)}deg(v_j)}$；
• 图（b）为GAT通过端到端的神经网络结构隐式地捕获权重$a_{ij}$，从而实现，重要性越高的邻居节点，有更大的权重。

GCN相关数据集

Spatial Domain GCN

信息传递机制：从邻居节点中聚集信息，用来更新中心节。如下图所示：红色节点$s1$的邻居节点是蓝色$B1,B2,B3$。通过一定的信息传递机制，将信息聚合到红色节点上。

加入一个线性变换矩阵$W$，作为聚合邻居节点的转换矩阵：
$$\sum _{u\in \mathcal{N}(v)}{\mathbf{H}}^{(\mathbf{l})}(\mathbf{u}){\mathbf{W}}^{(\mathbf{l})}$$
写成矩阵形式有：
$${\mathbf{H}}^{(\mathbf{l}+1)}=({\mathbf{H}}^{(\mathbf{l})},\mathbf{A})=\delta (\mathbf{A}{\mathbf{H}}^{(\mathbf{l})}{\mathbf{W}}^{(\mathbf{l})})$$
上式中${\mathbf{H}}^{(\mathbf{l})}{\mathbf{W}}^{(\mathbf{l})}$乘以邻接矩阵$\mathbf{A}$，本质上是选择一阶邻居节点，以实现信息传递。信息聚合时考虑中心节点本身的信息，可以在图中加入一个自环：
$$\begin{gathered} \tilde{\mathbf{A}}=\mathbf{A}+{\mathbf{I}}_{\mathbf{N}} \\ \widetilde{{\mathbf{D}}_{\mathbf{i}\mathbf{i}}}=\sum _{\mathbf{j}}{\tilde{\mathbf{A}}}_{\mathbf{i}\mathbf{j}} \end{gathered}$$
标准化邻接矩阵$\mathbf{A}$使得每行之和为1：$$\tilde{\mathbf{A}}={\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{A}}$$

举例说明：

$$\mathbf{A}=\left\{\begin{array}{cccccc}0& 1& 0& 0& 1& 0\\ 1& 0& 1& 0& 1& 0\\ 0& 1& 0& 1& 0& 0\\ 0& 0& 1& 0& 1& 1\\ 1& 1& 0& 1& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right\},\mathbf{D}=\left\{\begin{array}{cccccc}2& 0& 0& 0& 0& 0\\ 0& 3& 0& 0& 0& 0\\ 0& 0& 2& 0& 0& 0\\ 0& 0& 0& 3& 0& 0\\ 0& 0& 0& 0& 3& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right\}\tilde{\mathbf{A}}=\mathbf{A}+{\mathbf{I}}_{\mathbf{N}}=\left\{\begin{array}{cccccc}1& 1& 0& 0& 1& 0\\ 1& 1& 1& 0& 1& 0\\ 0& 1& 1& 1& 0& 0\\ 0& 0& 1& 1& 1& 1\\ 1& 1& 0& 1& 1& 0\\ 0& 0& 0& 1& 0& 1\end{array}\right\},$$
$$\tilde{\mathbf{D}}=\sum _j{\tilde{\mathbf{A}}}_{ij}=\mathbf{D}+{\mathbf{I}}_{\mathbf{N}}=\left\{\begin{array}{cccccc}3& 0& 0& 0& 0& 0\\ 0& 4& 0& 0& 0& 0\\ 0& 0& 3& 0& 0& 0\\ 0& 0& 0& 4& 0& 0\\ 0& 0& 0& 0& 4& 0\\ 0& 0& 0& 0& 0& 2\end{array}\right\}$$
归一化后：
$${\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{A}}=\left\{\begin{array}{cccccc}1/3& 0& 0& 0& 0& 0\\ 0& 1/4& 0& 0& 0& 0\\ 0& 0& 1/3& 0& 0& 0\\ 0& 0& 0& 1/4& 0& 0\\ 0& 0& 0& 0& 1/4& 0\\ 0& 0& 0& 0& 0& 1/2\end{array}\right\}\cdot \left\{\begin{array}{cccccc}1& 1& 0& 0& 1& 0\\ 1& 1& 1& 0& 1& 0\\ 0& 1& 1& 1& 0& 0\\ 0& 0& 1& 1& 1& 1\\ 1& 1& 0& 1& 1& 0\\ 0& 0& 0& 1& 0& 1\end{array}\right\}$$
$$=\left\{\begin{array}{cccccc}1/3& 1/3& 0& 0& 1/3& 0\\ 1/4& 1/4& 1/4& 0& 1/4& 0\\ 0& 1/3& 1/3& 1/3& 0& 0\\ 0& 0& 1/4& 1/4& 1/4& 1/4\\ 1/4& 1/4& 0& 1/4& 1/4& 0\\ 0& 0& 0& 1/2& 0& 1/2\end{array}\right\}$$
上式对邻接矩阵进行了标准化${\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{A}}$，称之为random walk normalization。在实际应用中，经常使用的re-normalization：
$$\tilde{\mathbf{A}}={\tilde{\mathbf{D}}}^{-1/2}{\widetilde{\mathbf{A}\mathbf{D}}}^{-1/2}$$

$$\begin{gathered} {\tilde{\mathbf{D}}}^{-1/2}=\left\{\begin{array}{cccccc}\frac{1}{\sqrt{3}}& 0& 0& 0& 0& 0\\ 0& \frac{1}{\sqrt{4}}& 0& 0& 0& 0\\ 0& 0& \frac{1}{\sqrt{3}}& 0& 0& 0\\ 0& 0& 0& \frac{1}{\sqrt{4}}& 0& 0\\ 0& 0& 0& 0& \frac{1}{\sqrt{4}}& 0\\ 0& 0& 0& 0& 0& \frac{1}{\sqrt{2}}\end{array}\right\} \\ \tilde{\mathbf{A}}={\tilde{\mathbf{D}}}^{-1/2}{\widetilde{\mathbf{A}\mathbf{D}}}^{-1/2}=\left\{\begin{array}{cccccc}\frac{1}{\sqrt{3}}& 0& 0& 0& 0& 0\\ 0& \frac{1}{\sqrt{4}}& 0& 0& 0& 0\\ 0& 0& \frac{1}{\sqrt{3}}& 0& 0& 0\\ 0& 0& 0& \frac{1}{\sqrt{4}}& 0& 0\\ 0& 0& 0& 0& \frac{1}{\sqrt{4}}& 0\\ 0& 0& 0& 0& 0& \frac{1}{\sqrt{2}}\end{array}\right\}\cdot \left\{\begin{array}{cccccc}1& 1& 0& 0& 1& 0\\ 1& 1& 1& 0& 1& 0\\ 0& 1& 1& 1& 0& 0\\ 0& 0& 1& 1& 1& 1\\ 1& 1& 0& 1& 1& 0\\ 0& 0& 0& 1& 0& 1\end{array}\right\}\cdot \left\{\begin{array}{cccccc}\frac{1}{\sqrt{3}}& 0& 0& 0& 0& 0\\ 0& \frac{1}{\sqrt{4}}& 0& 0& 0& 0\\ 0& 0& \frac{1}{\sqrt{3}}& 0& 0& 0\\ 0& 0& 0& \frac{1}{\sqrt{4}}& 0& 0\\ 0& 0& 0& 0& \frac{1}{\sqrt{4}}& 0\\ 0& 0& 0& 0& 0& \frac{1}{\sqrt{2}}\end{array}\right\} \\ =\left\{\begin{array}{cccccc}\frac{1}{\sqrt{9}}& \frac{1}{\sqrt{12}}& 0& 0& \frac{1}{\sqrt{12}}& 0\\ \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{12}}& 0& \frac{1}{\sqrt{16}}& 0\\ 0& \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{9}}& \frac{1}{\sqrt{12}}& 0& 0\\ 0& 0& \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{8}}\\ \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& 0& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{16}}& 0\\ 0& 0& 0& \frac{1}{\sqrt{8}}& 0& \frac{1}{\sqrt{4}}\end{array}\right\} \end{gathered}$$

$re-normalization$后有：
$${\mathbf{L}}^{\mathbf{s}\mathbf{y}\mathbf{m}}:={\mathbf{D}}^{-1/2}\mathbf{L}{\mathbf{D}}^{-1/2}={\mathbf{D}}^{-1/2}(\mathbf{D}-\mathbf{A}){\mathbf{D}}^{-1/2}={\mathbf{I}}_{\mathbf{N}}-{\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2}$$
邻接矩阵添加自环后：
$$\begin{gathered} {\mathbf{H}}^{(\mathbf{l}+1)}=\mathbf{f}({\mathbf{H}}^{\mathbf{l}},\mathbf{A})=\delta \left({\tilde{\mathbf{D}}}^{-1/2}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-1/2}{\mathbf{H}}^{(\mathbf{l})}{\mathbf{W}}^{(\mathbf{l})}\right)\} \\ =\left\{\begin{array}{cccccc}\frac{1}{\sqrt{9}}& \frac{1}{\sqrt{12}}& 0& 0& \frac{1}{\sqrt{12}}& 0\\ \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{12}}& 0& \frac{1}{\sqrt{16}}& 0\\ 0& \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{9}}& \frac{1}{\sqrt{12}}& 0& 0\\ 0& 0& \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{8}}\\ \frac{1}{\sqrt{12}}& \frac{1}{\sqrt{16}}& 0& \frac{1}{\sqrt{16}}& \frac{1}{\sqrt{16}}& 0\\ 0& 0& 0& \frac{1}{\sqrt{8}}& 0& \frac{1}{\sqrt{4}}\end{array}\right\} \end{gathered}$$

re-normalization后有：
$${\mathbf{L}}^{\mathbf{s}\mathbf{y}\mathbf{m}}:={\mathbf{D}}^{-1/2}\mathbf{L}{\mathbf{D}}^{-1/2}={\mathbf{D}}^{-1/2}(\mathbf{D}-\mathbf{A}){\mathbf{D}}^{-1/2}={\mathbf{I}}_{\mathbf{N}}-{\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2}$$
邻接矩阵添加自环后：
$${\mathbf{H}}^{(\mathbf{l}+1)}=\mathbf{f}({\mathbf{H}}^{\mathbf{l}},\mathbf{A})=\delta \left({\tilde{\mathbf{D}}}^{-1/2}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-1/2}{\mathbf{H}}^{(\mathbf{l})}{\mathbf{W}}^{(\mathbf{l})}\right)$$