拉普拉斯算子属于卷积方法吗_基于频谱的图卷积网络简介

1、无向图与拉普拉斯矩阵

1.1 图的基本定义

图(Graph)通常由顶点的有穷非空集合和顶点之间的边的集合所构成，通常可表示为

其中，

是顶点的集合，

是边的集合，

为图的邻接矩阵.在图中,

表示一个结点,

表示一条边.

是一个

的矩阵(N表示顶点的数目):若

则

,若

则

图中顶点的度(degree)指的是与该顶点相连的边的数量.

我们可以为图的顶点赋予一个属性从而得到图的所有结点的属性矩阵

,矩阵

的每一行代表对应顶点的属性值.

在有向图中,每条边都由对应的起点和终点,这意味着

.无向图中的所有边都是没有方向的,这意味着对于一个无向图

.

2、拉普拉斯矩阵

给定一个有

个顶点的简单图(既不含平行边也不含自环的图)

,其拉普拉斯矩阵(Laplacian matrix)

定义为

其中

为结点的度所构成的对角矩阵,

,

为图的邻接矩阵.由于

是简单图,从而

中仅仅包含0和1并且对角线元素为0.我们可得到图的拉普拉斯矩阵中的元素的值如下所示

其中,

表示的是结点i的度.此外我们常用一种标准化的拉普拉斯矩阵来表示一个无向图,其定义为

从而,

这一标准化的拉普拉斯矩阵是一个实对称半正定矩阵,从而可以分解为:

其中

是矩阵的特征向量所构成的矩阵,

是对应的特征向量构成的对角矩阵且有

.此外,特征向量可以构成一个n维的正交空间,即

.

3、图傅里叶变换

图信号(图中结点的属性值)

的图傅里叶变换被定义为

,对应的傅里叶逆变换被定义为

其中

表示对原始的图信号进行傅里叶变换的结果.从这一定义上我们实际可以看出图傅里叶变换实际上是将原始的图信号变换到图的标准化呢拉普拉斯矩阵的特征向量所构成的正交空间中.这样原始的图信号其实可以通过正交空间中的基向量进行线性表示,即

从而我们可以得到

.我们定义输入信号

与滤波器

的图卷积为

其中

代表对应元素之间的乘积(Hadamard product).如果我们在图卷积后的频域空间中定义一个矩阵形式的滤波器为

,这时我们可以得到更为简单的图卷积的定义

基于频谱的图卷积网络均遵循这一简单的定义方法.直觉上来说,图卷积操作可以看成将原始的处于空域的图信号变换到频域上之后,对频域属性进行滤波,然后再恢复到原来的图信号所在的空域中,从而完成了对图信号的降噪与特征提取的功能.

4、几种基于频谱的图卷积网络

4.1 频谱卷积神经网络

最开始的谱卷积网络(Spectral CNN)假设卷积滤波器是由一组可学习的参数构成的,并且图信号是一个多维向量.从而定义为如下的图卷积层

其中

是输入的图信号所构成的矩阵,N表示图中结点的数目,

表示输入信号的维度(channel),

表示输出信号的维度,

是一个由待学习的参数所构成的对角矩阵,

表示非线性变换.

4.2 契比雪夫频谱卷积网络(ChebNet)

契比雪夫频谱卷积网络是通过图的拉普拉斯矩阵的特征值所构成的对角矩阵的契比雪夫多项式所组成的,其卷积滤波器的定义为

其中,

.契比雪夫多项式可递归的定义为

从而,在上述卷积滤波器的定义下,图信号

的图卷积可定义为

其中,

从上面的表达式我们可以看出,ChebNet不需要计算拉普拉斯特征矩阵的傅里叶基矩阵,这样可以降低计算的复杂度.并且由于卷积操作只针对单个结点,因而其是一个局部卷积操作.

4.3 ChebNet的一阶近似

我们只保留上诉ChebNet的一阶项并且令

,从而得到下面的卷积公式

为了减少参数的数量和过拟合,可进一步假设

,从而产生了下面形式的图卷积

将上述公式写为输入数据的批量的形式,可以得到如下的公式

其中,

.

这里定义的图卷积是空间中的局部卷积操作,它融合了基于空域的方法和基于频域的方法.输出矩阵的每一行代表将输入矩阵的当前行所对应的图信号和其近邻的信号通过权重矩阵

进行融合后的隐藏属性.

5、小结

Spectral CNN 依赖于对拉普拉斯矩阵的特征分解,这使得其会有如下三个限制:(1)对图结构的小小扰动将会导致不同的特征基;(2)特征分解需要较为庞大的计算代价;(3)学习到的滤波器是针对特定问题的,不能够将其进行推广到更丰富的图结构上.ChebNet及其一阶近似是局部卷积操作,从而可以在图的不同位置共享相同的滤波器参数.

基于频谱方法的一个关键缺陷是其需要将整个图的信息载入内存中,这使得其在大规模的图结构(如大规模的社交网络分析)上不能有效的进行应用.

参考文献：

[1] Wu Z, Pan S, Chen F, et al. A comprehensive survey on graph neural networks[J]. arXiv preprint arXiv:1901.00596, 2019.

[2] Bruna J, Zaremba W, Szlam A, et al. Spectral networks and locally connected networks on graphs[J]. arXiv preprint arXiv:1312.6203, 2013.

[3] Defferrard M, Bresson X, Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Advances in neural information processing systems. 2016: 3844-3852.

[4] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1609.02907, 2016.