GCN演变及改进整理

最新推荐文章于 2024-06-27 08:04:45 发布

Mitsui745

最新推荐文章于 2024-06-27 08:04:45 发布

阅读量4.9k

点赞数 7

分类专栏：自学用整理文章标签：图论

本文链接：https://blog.csdn.net/qq_60272314/article/details/120467382

版权

本文梳理了图卷积网络（GCN）的演变历程，从Spectral CNN到GCN，再到一系列改进版的GCN，包括AGCN、DGCN、ConvGNNs等。GCN在图数据处理中的应用日益广泛，但也存在扩展性差、局限于浅层等问题。文章探讨了如何通过改进邻接矩阵和空间域GCNs来优化GCN的性能。

摘要由CSDN通过智能技术生成

一.演变

1.Spectral CNN

2.Chebyshev谱CNN（ChebNet）

3.CayleyNet

4.一阶ChebNet（1stChebNet）-GCN

二.GCN的改进

1.邻接矩阵的探索

Adaptive Graph Convolution Network (AGCN)

Dual Graph Convolutional Network(DGCN)

2. 空间域的GCNs（ConvGNNs）

Neural Network for Graphs (NN4G)

Contextual Graph Markov Model (CGMM)

Diffusion Convolutional Neural Network (DCNN)扩散卷积神经网络

Diffusion Graph Convolution(DGC) 扩散图卷积

PGC-DGCNN

三.其余一些网络

Message Passing Neural Networks (MPNN) 信息传递神经网络

Graph Isomorphism Network (GIN) 图同构网络

GraphSage

Graph Attention Network (GAT)图注意力网络

Gated Attention Network (GAAN)-门控注意力网络

一.演变

1.Spectral CNN

Bruna等人，第一次提出谱卷积神经网络。他们简单地把看作是一个可学习参数的集合：。并且假设图信号是多维的，图卷积层顶定义为：

第一代的参数方法存在着一些弊端，主要在于：
（1）计算复杂：如果一个样本一个图，那么每个样本都需要进行图的拉普拉斯矩阵的特征分解求U矩阵计算复杂；每一次前向传播，都要计算三者的乘积，特别是对于大规模的graph，计算的代价较高，需要的计算复杂度
（2）是非局部性连接的
（3）卷积核需要N个参数，当图中的节点N很大时是不可取的

由于以上的缺点第二代的卷积核设计应运而生。

2.Chebyshev谱CNN（ChebNet）

Defferrard等人提出ChebNet，定义特征向量对角矩阵的切比雪夫多项式为滤波器，也就是

就是利用Chebyshev多项式拟合卷积核的方法，来降低计算复杂度。

现在，相比于第一种Spectral CNN：

·此表达式现在是K-localized，具有局部连接性，因为它是拉普拉斯算子中的Kth-阶多项式，即它仅取决于离中央节点(Kth阶邻域)最大K步的节点
·的复杂度是O(|E|)，即与边数E呈线性关系，整个运算的复杂度是 O ( K ∣ E ∣ ) 。当graph是稀疏图的时候，计算加速尤为明显，这个时候复杂度远低于O(n^2) 。

3.CayleyNet

CayleyNet进一步应用了参数有理复合函数的Cayley多项式来捕获窄的频带。CayleyNet的谱图卷积定义为：

CayleyNet在保留空间局部性的同时，说明ChebNet可以看作是CayleyNet的一个特例。

4.一阶ChebNet（1stChebNet）-GCN

一阶ChebNet源于论文（T. N. Kipf and M.Welling, “Semi-supervised classification with graph convolutional networks,” in Proceedings of the International Conference on Learning Representations, 2017）。这篇论文基于前面的工作，正式成为GCN的开山之作，后面很多变种都是基于这篇文章的。

该篇论文贡献有两点：

1.作者对于直接操作于图结构数据的网络模型根据频谱图卷积(Hammond等人于2011年提出的Wavelets on graphs via spectral graph theory)使用一阶近似简化计算的方法，提出了一种简单有效的层式传播方法。
2.作者验证了图结构神经网络模型可用于快速可扩展式的处理图数据中节点半监督分类问题，作者通过在一些公有数据集上验证了自己的方法的效率和准确率能够媲美现有的顶级半监督方法。

GCN的优点

1)、权值共享，参数共享，从AXW 可以看出每一个节点的参数矩阵都是W，权值共享；
2)、具有局部性Local Connectivity，也就是局部连接的，因为每次聚合的只是一阶邻居；
上述两个特征也是CNN中进行参数减少的核心思想
3)、感受野正比于卷积层层数，第一层的节点只包含与直接相邻节点有关的信息，第二层以后，每个节点还包含相邻节点的相邻节点的信息，这样的话，参与运算的信息就会变多。层数越多，感受野越大，参与运算的信息量