Graph Wavelet Neural Network

论文标题

Graph Wavelet Neural Network

论文来源

ICLR 2019, 论文PDF

论文代码

https://github.com/benedekrozemberczki/GraphWaveletNeuralNetwork

1 背景梳理

对于自然界中广泛存在的非欧式拓普数据，即图（Graph），的研究得到了广泛关注，为了有效提取图的特征表达，图神经网络（GNN）等一类优秀的模型被提出，并适用于广泛的应用场景，如社交网络、推荐系统、智慧医疗以及城市规划。谱域卷积网络（SpectralCNN）是图神经网络中的一个典型模型，基于图信号的傅里叶变化，对图信号进行滤波和特征提取。然而 SpectralCNN 存在若干问题，包括：

---

i SpectralCNN 的建模必须基于图拉普拉斯矩阵的特征值分解，然而该运算的时间复杂度是巨大的，降低了该模型的效率和实用性。
ii SpectralCNN 中的傅里叶基向量是稠密的，在大规模图运算中无法通过稀疏矩阵的进行加速，降低了该模型的效率。
iii SpectralCNN 中的傅里叶基向量倾向于表示全局性的信号，不够突出局部化特征，难以得到更清晰有效的表达，降低了该模型的学习效果。

---

为了解决上述问题，本文提出一种基于小波基的图神经网络，成为图小波神经网络（Graph Wavelet Neural Network, GWNN）。【通过把 SpectralCNN 中的傅里叶基转化为小波基，并设计一个高效的特征提取方法】，GWNN可以有效地学习局部化的、稀疏的特征表达，同时提升网络的表达效果和运算效率。

2 论文贡献

1）算法思想

采用小波基向量来替代原始 SpectralCNN 中的傅里叶基，从而基于图信号的小波变换进行模式分析和特征提取。基于小波基GWNN的优势表现在，稀疏高效和特征清晰。

2）网络设计

提出一种创新的图小波神经网络（Graph Wavelet Neural Network, GWNN），采用双层网络结构，每层结构均采用基于小波变换的图信号分析。另外，原理性的GWNN仍具备较大的参数量，从而容易导致巨大的计算开销和guo’ni’h以及设计了一种高效的算法，将特征提取和图卷积进行解耦，提升运算效率。

3）实验效果

在 Cora, Citeseer 和 Pubmed 三个数据集上进行了半监督节点分类任务，经测试，GWNN 均超过一系列优秀的前人工作。对小波基和特征提取进行了细节分析，观测到他们具有充分的稀疏性，验证了本文假设。

3 方法

给定一个含有$N$个节点的图结构以及相应的图信号 $G(\mathcal{V},\mathcal{E},\mathbf{X})$，其中，$\mathbf{X}\in {\mathbb{R}}^{N\times 1}$ 表示该图结构上的一个图信号向量。图拉普拉斯矩阵（Graph Laplacian）度量了图结构的变化和不平滑程度，可以定义为$\mathbf{L}=\mathbf{D}-\mathbf{A}\in {\mathbb{R}}^{N\times N}$，其中$\mathbf{A}$表示图的邻接矩阵，$\mathbf{D}$为度矩阵。$\mathbf{L}$有一个常用的归一化形式：$\mathcal{L}=\mathbf{I}-{\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2}$。通过对图拉普拉斯矩阵的特征分解，我们可以得到适用于该图结构的傅里叶基向量及其对应的频谱成分，即，
KaTeX parse error: Undefined control sequence: \bbox at position 2: \̲b̲b̲o̲x̲[white, 3px] \m…
其中 $\mathbf{U}\in {\mathbb{R}}^{N\times N}$ 表示由傅里叶基向量构成的基矩阵，表示了该图结构所蕴含频谱成分；$\mathbf{\Lambda }\in {\mathbb{R}}^{N\times N}$ 表示特征值矩阵，越大特征值对应的傅里叶基表示频率越高的成分。

对于该图结构上的一个图信号 $\mathbf{X}\in {\mathbb{R}}^{N\times 1}$，该信号的图傅里叶变换可以表示为 $\hat{\mathbf{X}}={\mathbf{U}}^{\top }\mathbf{X}$；相应的，图傅里叶反变换为 $\mathbf{X}=\mathbf{U}\hat{\mathbf{X}}$。因此，基于图傅里叶变换的图卷积被定义为
KaTeX parse error: Undefined control sequence: \bbox at position 2: \̲b̲b̲o̲x̲[white, 3px] \m…
将 ${\mathbf{U}}^{\top }\mathbf{Y}$ 建模为可学习的参数 $g_{\theta }$，则谱域卷积网络 SpectralCNN 被建立。

上文提及，图结构的傅里叶基有诸多问题，本文提出用小波基来代替图卷积中的傅里叶基。原理上，小波基可以表达为
$${\psi }_s=\mathbf{U}{\mathbf{G}}_s{\mathbf{U}}^{\top },$$
其中 ${\mathbf{G}}_s=\text{diag}(e^{s{\lambda }_1},\dots ,e^{s{\lambda }_N})$, $s$是一个尺度系数，描述了小波基信号的不同尺度。小波基比传统的傅里叶基具有更高的稀疏性和局部性。小波基可以由 Chebyshev 多项式近似表示从而高效的获得。给定小波基，图卷积运算可以被表达为
KaTeX parse error: Undefined control sequence: \bbox at position 2: \̲b̲b̲o̲x̲[white, 3px] \m…
进一步，假设输入一个p维图信号$\mathbf{X}\in {\mathbb{R}}^{N\times p}$，为了得到一个q维图信号 $\mathbf{Y}\in {\mathbb{R}}^{N\times q}$ 基于小波基的可训练的图卷积被定义为，
KaTeX parse error: Undefined control sequence: \bbox at position 2: \̲b̲b̲o̲x̲[white, 3px] \m…
其中 ${\mathbf{F}}_{i,j}$ 是一个对角矩阵，对角线上每个元素表示一个可训练的网络参数，$h(\cdot )$ 表示非线性的激活函数，可以采用 ReLU 或 softmax 函数。值得注意的是，上述表达式所需要的参数量为 $\mathcal{O}(N\times p\times q)$，他针对每个节点的每个输入输出维度均分配独立的参数，造成了巨大的计算开销和过拟合风险。为了降低上述隐患，本文提出一种高效的计算方法，即将基于小波基的图卷积解耦为特征变换和图卷积两个步骤，分别表示为
KaTeX parse error: Undefined control sequence: \bbox at position 2: \̲b̲b̲o̲x̲[white, 3px] \m…
其中，$\mathbf{W}\in {\mathbb{R}}^{p\times q}$表示一个可训练的参数矩阵，该矩阵对每个节点是共享的。由此网络的参数量由$\mathcal{O}(N\times p\times q)$下降为$\mathcal{O}(N+p\times q)$

4 实验

为了验证GWNN的表达能力、稀疏性和运算效率，本文在三个数据集：Cora、Citeseer 和 Pubmed 上执行了半监督节点分类任务。三个数据集的相关信息如Table 1所示。

为了验证本文提出的特征变换-图卷积解耦方法的高效性，作者发现在现有设备上无法承载GWNN的原始版图卷积运算，于是就在 ChebyNet 上进行了实验，并测试了采用解耦方法或不解耦方法的网络表达能力和参数量，结果如Table 2所示。可以看出，通过解耦算法可以大幅降低网络参数，并一定程度上提升了节点分类的准确率，降低了过拟合。

接下来是将GWNN与state-of-the-art方法进行对比，在三个数据集上的半监督节点分类结果再Table 3中被展示，可以看出，GWNN可以超过大量的传统图信号处理方法和新兴的多种图神经网络方法。

最后，本文验证了 GWNN 的稀疏性。首先，将小波基和傅里叶基中不为0的元素进行了统计，可以发现小波基中不为0的元素数目和在整个基向量中的占比远低于傅里叶基。接着，验证了小波变换后的图信号和傅里叶变换后的图信号的稀疏情况，可以得到类似的结论。充分证明了GWNN的稀疏性以及可以进行大规模图信号处理的潜在效率。

5 总结

本文提出一种创新的图小波神经网络GWNN，采用小波基替代传统的傅里叶基，对图信号进行变换和特征提取。为了提升网络的运算效率，还在网络中提出一种 特征变换-图卷积解耦操作，可以大幅提升运算效率并降低过拟合隐患。在半监督节点分类任务上进行了实验，充分验证了GWNN的表达效果、运算效率和稀疏性。

参考文献

[1] J. Bruna et al. Spectral networks and locally connected networks on graphs. ICLR 2014.
[2] M. Defferrard et al. Convolutional neural networks on graphs with fast localized spectral filtering. NeurIPS 2016.
[3] B. Xu et al. Graph wavelet neural network. ICLR 2019
[4] D. Hammond et al. Wavelets on graphs via spectral graph theory. App. Comp. Harmo. Analysis, 30 (2). 2011