图卷积神经网络2-谱域卷积：SCNN/ChebNet/GCN的引入和介绍

最新推荐文章于 2024-09-11 15:32:04 发布

奥卡姆的剃刀

最新推荐文章于 2024-09-11 15:32:04 发布

阅读量6.8k

点赞数 11

分类专栏：深度学习图论及图深度学习文章标签：深度学习

本文链接：https://blog.csdn.net/yilulvxing/article/details/110310255

版权

深度学习同时被 2 个专栏收录

16 篇文章 38 订阅

订阅专栏

图论及图深度学习

10 篇文章 35 订阅

订阅专栏

知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53https://www.zhihu.com/people/shuang-shou-cha-dai-53

备注：本篇博客摘自某培训机构上的图神经网络讲解的视频内容，该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细，逻辑主线也比较清晰。因此记录分享下。

继上一篇：谱域卷积：拉普拉斯变换到谱域图卷积

本篇博客主要讲解谱域图卷积的几个经典算法的引入，包括逻辑主线整理和特点介绍

上一篇文章链接：文章地址

继续上一篇的图卷积推导过程：

上面公式推导的结果就是谱域图卷积最终的公式，所有的谱域图卷积的原理就是这个公式，只是对滤波器 $\widehat{g}$ 做了不同的处理。这个公式的意义是：卷积核信号（或者说滤波器信号） $\widehat{g}$ 是一个n维的向量，它的作用是将原信号的不同的分量进行一个放大或者缩小，这取决于卷积核信号在谱域上不同元素的值。

1：简介

下面的式子是上一小节最后推导的结果。

2：SCNN

上面图片实际上是GCN模型的图片，放在这里是因为不同方法的卷积网络特征图的规律都是一样的。如上面左图，首先某一层的图的信号可以表示为一个 n∗C * 的一个矩阵，n 表示有n 个不同的节点，C 代表通道个数；然后所谓图上的信号，其实就可以分解为各个节点上的信号，用表示整个图上的信号，是一个 n∗C 的矩阵，具体比如 $X_{1}$ 这个节点它就是一个 1 ∗ C 的向量，有 n个节点，就是一个 n∗C * 的矩阵。假设通道等于 1 时，整个图上的信号其实就类似于灰度图像上的信号。

这种表示其实和image上的表示是一样的，如上面右图，假设一张图片的高是 h ，宽是 w，通常我们使用 h∗C * * 的矩阵来代表图像某一层的特征图，就是通道个数。如上面中间图，特征图的形式是 *，表示该层的一个特征图的通道数。

上面其实就是在说图卷积网络不同层的特征图，他们是共享一个图的结构，当传播到下一层时，图的结构是不变的，即节点个数不变，节点之间的关系不变，变的是图上的信号或者说是节点上的信号，如 $X_{1}$ 在input layer 层是一个 1 * 的向量，而到了 output layer 层变成一个 1 * 的向量，通道个数也变了。

SCNN原始论文：《Spectral networks and locally connected networks on graphs》

论文地址链接

上面的卷积核，由于它只有主对角线上的元素是非零的，所以这个矩阵只有个值，SCNN的思想就是说：用个可学习的参数，来替换谱域的卷积核。

对上述公式进一步进行简化，得到如下公式：

上面公式的形式就和前面所说的图卷积的表达比较相似了，首先 $^{U^{T}}$ * $^{x_{k}}$ 实际上是一个图傅里叶正变换，将信号从空间域转换到谱域；然后由 $^{F_{k}}$ 也就是 n 个可学习的参数，替换原来谱域的卷积核，每个 $\theta$ 实际上是对每个频率分量进行放大或者缩小；最后再用乘以整个谱域调整后的信号，再将其转换为空间域。

这个思想实际上是将谱域的卷积核变成了一个可学习的谱域的卷积核，然后就会有n 个可学习的参数。

SCNN实际上是第一个将理论转换为实践的模型，但有很多的缺点，如下：

备注：无法保证局部连接是因为SCNN转换到空域时，实际上是一个全连接的形式，这个和经典卷积是违背的。

3：ChebNet

ChebNet原始论文：《Convolutional neural networks on graphs with fast localized spectral filtering. In Advances in neural information processing systems》

论文地址链接

针对上面的公式，首先查看下切比雪夫多项式：

上面公式是说，0阶的切比雪夫多项式是1，一阶的是，依此类推，高阶的切比雪夫多项式有这样的规律 $T_{N+1}(x)=2 x T_{n}(x)-T_{n-1}(x),(n=1,2, \ldots)$ ，右面公式是矩阵形式的切比雪夫多项式。

切比雪夫多项式在逼近理论中有重要的应用，因为切比雪夫多项式可以用于多项式插值，相应的插值多项式能最大限度地降低龙格现象，并且提供多项式在连续函数的最佳一致逼近，也就是说我们可以用切比雪夫多项式来逼近函数进行多项式插值。

ChebNet方法认为谱域的卷积核的取值是一个与特征值相关的函数，然后可以用切比雪夫多项式来逼近这个函数，具体来说就是下面这样：

其中 $g_{\theta}$ 是谱域的卷积核, 然后用一个切比雪夫多项式插值来逼近它, 我们只需要学习前面的系数 $\beta_{k}$ 就可以了，然后就能推导出最下面的公式, 显然这样做的好处是：不需要求拉普拉斯矩阵的特征向量 $U$ , 直接使用拉普拉斯矩阵, 时间复杂度大大降低。所以下面这个公式就是ChebNet方法的最终公式：