拉普拉斯算子属于卷积方法吗_三代图卷积网络理论

1、图卷积定义

炫云：从二维卷积经过图傅里叶变换到图卷积​zhuanlan.zhihu.com

炫云：拉普拉斯矩阵的谱分解，谱图卷积，图卷积演变过程​zhuanlan.zhihu.com

第一代图卷积

论文来源：《Spectral Networks and Deep Locally Connected Networks on Graphs》

第一代图卷积的计算方法就直接根据 从二维卷积经过图傅里叶变换到图卷积中的（4）（6）推出

虽然利用上式已经可以构造深度网络进行图卷积运算了，但该版本有不少缺点：

1. 没有local信息。每次卷积都是所有顶点都参与运算，没有实现局部卷积和参数共享。
2. 运算量大。每次卷积都要进行拉普拉斯矩阵分解和矩阵相乘，计算复杂度为
   。
3. 参数量大。每个卷积核参数量为
   。

第二代图卷积

文章来源：
《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》

针对第一代图卷积中存在的问题，学者基于切比雪夫多项式提出第二代GCN：ChbeyNet

首先回顾下图傅里叶计算公式：

可知函数和特征值密切相关，令

为拉普拉斯矩阵

的

特征值函数

：

以拉普拉斯矩阵的特征值作为卷积核同样存在缺陷：

• 不具备局部连接性；
• 时间复杂度为 O(n);

为了克服上述缺陷引入 K 阶多项式：

其中，参数

是多项式系数，因此滤波器具有了

阶局部性，复杂度也降低到

。

将式代入第一代图卷积式（1）中可得：

其中 σ 是激活函数，计算时间复杂度为

，因为对于静态图而言

是固定的，

可以提前计算得到。如果使用稀疏矩阵乘法（pytorch里有封装），时间复杂度是

其中

是稀疏矩阵中非零元的个数表示图中边的数量。 此时计算图卷积就不需要再乘上特征向量矩阵 U，而是直接使用拉普拉斯矩阵 L 的 k 次方，就避免了进行特征分解。

因为

当

很大的时候并不稀疏（ |E| 接近

），所以文中提出了利用切比雪夫多项式展开（任何k次多项式都可以通过切比雪夫多项式展开）来近似

，切比雪夫多项式递归式为：

因此根据上式可知：

其中，

;

是指拉普拉斯矩阵L的最大特征值。

PS：因为切比雪夫多项式的输入要在 [−1,1] 之间，由于拉普拉斯矩阵的半正定性，所以所有的特征值都是大于等于 0 的，将其除以最大特征值可以将特征压缩到 [0,1] 区间内，现在需要将其压缩到 [−1,1]。

可以得到：

而

是

的

阶多项式，且有

，其中，

。

这样，我们就得到了第二代图卷积:

这个表达式为拉普拉斯多项式中的一个 k 阶近似函数，依赖于节点的 k 阶邻域（k 步可达），时间复杂度与边呈线形相关。

总结第二代图卷积优点如下：

• 运算量相比第一代的
  可以降到
  。
• 引入K-hop感受野，可以捕捉局部特征。

第三代图卷积

文章来源：《Semi-supervised Classification with Graph Convolutional Networks》

第二代图卷积解决了拉普拉斯矩阵特征分解的问题，但是在计算图卷积操作时矩阵乘法时间复杂度为

，在此基础上优化Kipf等人提出了目前流行的 GCN。

GCN 通过式（3）进行多层卷积层进行叠加，而每层都会逐点进行非线性叠加。考虑到时间复杂度问题，令

，也就是说得到了一个拉普拉斯算子的

二阶近似函数。既可以对网络进行卷积操作计算量增加不大。通过 叠加层数可以提升模型的非线性。

归一化的拉普拉斯矩阵的特征值区间为 [0,2]，令

可得：

其中，

是切比雪夫系数且仅存的两个参数！

在GCN的训练过程中需要规范化参数避免过拟合，令

，由式可得：

注意

的特征值范围在 [0, 2] 之间，所以如果在很深的网络中会引起梯度爆炸的问题，需要再次进行一次归一化（Renormalization trick）：

把上式从标量推广到矩阵，对于输入顶点的向量

，其中 N 为节点数，C 为顶点的特征向量维度，可得：

其中，

是参数矩阵，

是卷积后的顶点特征，时间复杂度为

。

根据上式一层卷积，多层图卷积计算公式公式为：

其中，

，A 为邻接矩阵，

为单位矩阵，所以

为添加自连接的邻接矩阵；

，

为顶点的度数矩阵；

为神经网络第 l 层的权重矩阵；

是激活函数；

是第

层的激活矩阵，并且

，

是由顶点的特征向量组成矩阵。

总结第三代图卷积：

• 令K=1，相当于只考虑1-hop 邻点。通过堆叠层数来增加感受野。
• 每层计算复杂度降低为
  。

总结

CNN 中的卷积无法直接应用于网络图中，所以引出了谱图理论和图中的傅里叶变换，进而定义图卷积的计算方法，最后结合深度学习发展出来 GCN。

参考：

拉普拉斯矩阵的谱分解，谱图卷积，图卷积演变过程

从二维卷积经过图傅里叶变换到图卷积

图卷积的通式