文献题目:Semi-Supervised Classification with Graph Convolutional Networks
文献来源:ICLR 2017
原文链接:https://arxiv.org/abs/1609.02907
参考笔记
GCN 理论:https://blog.csdn.net/weixin_36474809/article/details/89316439
离散卷积:https://zhuanlan.zhihu.com/p/35630785
离散卷积
称 ( f ∗ g ) ( n ) (f*g)(n) (f∗g)(n) 为 f , g f,g f,g 的卷积,离散卷积本质是一种加权求和
连续卷积定义为:
( f ∗ g ) ( n ) = ∫ − ∞ ∞ f ( τ ) g ( n − τ ) d τ (f*g)(n) = \int_{-∞}^∞f(\tau)g(n-\tau)d\tau (f∗g)(n)=∫−∞∞f(τ)g(n−τ)dτ
离散卷积定义为:
( f ∗ g ) ( n ) = ∑ τ = − ∞ ∞ f ( τ ) g ( n − τ ) (f*g)(n) = \sum_{\tau=-∞}^∞f(\tau)g(n-\tau) (f∗g)(n)=τ=−∞∑∞f(τ)g(n−τ)
卷积神经网络 - CNN
CNN 中的卷积本质上是利用一个共享参数的过滤器(kernel),通过计算像素中心点的加权和来构成 feacher map 实现空间特征的提取, 其中加权系数是卷积核的权重系数。
CNN 中的卷积过程如图1所示,首先随机化 kernel 初值,然后根据误差函数通过反向传播梯度下降进行迭代优化。
CNN → \rightarrow → GCN
CNN 可以有效提取空间特征,但是 CNN 处理的图像或视频数据中的像素点(pixel)是整齐排列的矩阵,即很多论文中提到的欧式结构(Euclidean Structure),如图2所示。
现实世界中的许多问题都可以通过非欧结构的图结构表述,如基因序列关系、蛋白质结构、知识图谱和社交网络等。概率图模型(Probablistic Graphical Model,PGM)和图神经网络(Graph Neural Networks,GNN)是处理图结构的两个代表性的方向。
融入 CNN 的 GCN 框架是最流行的 GNN 之一,但是图结构中邻居节点的个数不固定,无法计算核卷积,所以 CNN 不能直接用在属于非欧空间的图结构上。对此有两种解决办法:一是固定邻居节点数,二是将非欧空间的图转换到欧式空间,GCN 属于第二种思路。
图卷积网络
图卷积网络(Graph Convolutional Network,GCN)是对图结构进行操作的卷积神经网络。
理论基础
1. 拉普拉斯矩阵
对于图结构的特征提取主要分为空域(Spatial Domain)和频域(Spectral Domain)两种方法:频域法使用谱分解的方法,应用图的拉普拉斯矩阵分解进行节点的信息收集;空域法直接使用图的拓扑结构,根据图的邻接信息进行信息收集。
GCN 采用的是频域法,对于给定图 G = ( V , E ) G=(V,E) G=(V,E),其拉普拉斯矩阵定义为 L = D − A L=D-A L=D−