GCN -- 随手记

普通卷积：

图卷积

拉普拉斯矩阵：

 

(1)空域(spatial domain)卷积

简单说就是提取拓扑图上的空间特征，然后把每个顶点相邻的节点（邻域）找出来，我把你拼成规则的数据结构，然后进行卷积[2]。
具体的操作方法包含三个步骤：
1.从图中选择一个固定长度的节点序列；
2.对序列中的每个节点，收集固定大小的邻域集合；
3.对由当前节点及其对应的邻域构成的子图进行规范化，作为卷积结构的输入，后面就是传统神经网络的常规操作了。

(2) 频域(spectral domain)卷积

这种思路就是希望借助图谱的理论来实现拓扑图上的卷积操作。从整个研究的时间进程来看：首先研究谱图论（graph signal processing）的学者定义了graph上的Fourier Transformation，进而定义了graph上的convolution，最后与深度学习结合提出了Graph Convolutional Network。其实核心概念就是借助于图的拉普拉斯矩阵的特征值和特征向量来研究图的性质。

一个公式：AXW

A是标准化的邻接矩阵，X是每个节点的特征矩阵，就是每个节点有什么属性，比如图像处理中，图片的每个像素有RGB值，如果把每个像素看作一个节点，那RGB值就是三个属性。W是学习的参数，就是神经网络要训练优化的参数。再牛一些的公式就是A（AXW）W，它是一个两层的图卷积网络，一般的图卷积网络由于计算量比较大，除非经过特殊的改良，否则实验只操作到两层。

 

目前设计图卷积核的方式主要是两个，第一种设计的卷积核是确定的，比如空域。对于不同的图，如果每个节点的邻居数量不同，要去规范化一个卷积核，，那就选取固定数量的邻居，这样就能够使用一个固定大小的卷积核。第2种就是频域的卷积核设计，我将所有的节点都考虑，但是在卷积的时候，我根据拉普拉斯矩阵的特征进行选择，只选择部分与节点相关的邻域进行卷积。

空域卷积其实是将问题简单化，卷积前先进行剪枝邻域，所以计算速度一般较快。频域的卷积是先将所有的节点考虑，然后在卷积时依靠拉普拉斯矩阵进行筛选，由于考虑了所有节点，所以这种计算速度明显的要慢一些。

---

https://physics.stackexchange.com/questions/193086/whats-the-difference-between-frequency-spectral-and-cepstral-domains

https://www.zhihu.com/question/346245009/answer/826385011

Fourier Transform

Spectral Graph Theory

---

参考：

[1] Battaglia, Peter W, Hamrick, Jessica B, Bapst, Victor,等. Relational inductive biases, deep learning, and graph networks[J].

[2] Niepert M , Ahmed M , Kutzkov K . Learning Convolutional Neural Networks for Graphs[J]. ICML ,2016.

[3] https://zhuanlan.zhihu.com/p/115322434