Revisiting Graph Neural Networks: All We Have is Low-Pass Filters--arixv-2019--论文笔记

论文题目–《对于图神经网络的重新思考：所有的皆是低通滤波器》

摘要：
图神经网络已成为解决图结构数据机器学习问题的重要技术之一。最近关于顶点分类的工作提出了深度和分布式学习模型，以实现高性能和可扩展性。然而，我们发现基准数据集的特征向量已经为分类任务提供了相当多的信息，而图结构仅仅提供了一种对数据进行去噪的方法。本文提出了一种基于图信号处理的分析图神经网络的理论框架。结果表明，图神经网络仅对特征向量进行低通滤波，不具有非线性流形学习特性。我们进一步研究了它们对特征噪声的抵抗能力，并对基于GCN的图形神经网络设计提出了一些见解。

1.相关介绍
图形神经网络（GNN）是一类能够从图形结构数据中学习的神经网络。近年来，用于顶点分类和图同构检验的图神经网络在多个基准数据集上取得了良好的效果，并不断创造出新的性能水平。从ChebNet和GCN在顶点分类方面的早期成功开始，GNN的许多变体被提出用于解决社交网络、生物学、化学、自然语言处理、计算机视觉和弱监督学习中的问题。
从这些先前的研究中，一个问题自然而然地出现了：为什么图神经网络在顶点分类方面工作得很好，什么时候工作得很好？换言之，图神经网络模型的顶点特征向量是否有条件即使不经过训练也能正常工作？
在这次研究之中，我们从图形信号处理的角度回答了上述问题。
给定一个图G=（V，E），每个顶点i∈V有一个特征x（i）∈X和标记y（i）∈Y，其中X是一个d维欧氏空间，每个顶点i可以用其特征x（i）来表示，并且和其标记y（i）相关联。Y用于回归，Y={1,…，c}用于分类。任务是学习从特征x（i）预测标签y（i）。本文用图神经网络解决了这个分类问题，gnn的节点分类问题就是：给定部分标记y的图G，目标是利用这些标记的节点来预测未标记的节点标签，它通过学习得到每个节点的k维向量（状态）表示为h（i），同时包含其相邻节点的信息。
图形信号处理（GSP）将顶点上的数据作为信号，应用信号处理技术来理解信号的特征。通过将信号（特征向量）和图结构（邻接矩阵或其变换）相结合，GSP启发了图结构数据学习算法的发展。在标准信号处理问题中，通常假设观测值包含一些噪声，而潜在的“真实信号”具有低频率[20]。在这里，我们对我们的问题提出了类似的假设。

贡献：
1.在常用的数据集上面验证了输入特征包括低频真实特征和噪声。这些低频的真实特征对于机器学习任务具有足够的信息。
2.通过实验表明图卷积层是简单的低通滤波。
3.在理论分析的基础上，提出了一个新的网络gfNN

2.图信号处理
在这一节作者介绍了一些基本的图信号处理的知识。
定义一个简单无向图，称为G(V,ε)，V代表顶点的集合，ε代表边的集合，假设图G中有n个节点。定义A为邻接矩阵，
然后定义G的度矩阵，度就是一个节点上有几条边，度在图用于研究社交网络的时候可以用作衡量一个节点的影响力，当然衡量节点影响力也有其他的方法。G的度矩阵就是把各个节点的度放在矩阵的对角线位置，所以定义如下：D=diag(d(1),…d(n))∈Rn×n，其中d(i)=∑j∈Vaij
此时，我们让L=D−A，也就是定义一个新的矩阵L，它是用图G的度矩阵D减去邻接矩阵A，因为我们知道A的对角线上元素都为0，其余位置有可能是0或1；而D是其余位置为0，只有对角线上元素有可能为正数。故L就是一个对角线上元素为度，其余位置为0或-1的一个矩阵。我们称L为拉普拉斯矩阵（combinatorial Laplacian）
然后定义L=I−D−1/2AD−1/2，其中I是一个单位阵，称\L为标准拉普拉斯矩阵（normalized Laplacian），也就是我们经常说的拉普拉斯矩阵的标准化。
定义Lrw=I−D−1A，为随机游走拉普拉斯矩阵（random walk Laplacian）
定义A˜=A+γI，为增强邻接矩阵，也就是给每个节点加上了一个自循环，在最开始因为G是一个简单无向图，简单就蕴含着无环，所以A的对角线元素上为0，现在增加了一个γ就是给A的每个节点都增加了一个“自己到自己的连接”；相应的每个节点增加了自循环的线条，所以度也要跟着改变为D˜=D+γI，它是相应的增强度矩阵；同时三个拉普拉斯矩阵也随着变化，当然L=D−A=L˜组合拉普拉斯是不变的，因为A和D只是对角线元素上同时增加了，相减时依旧为0；标准拉普拉斯变为\L˜=I−D−12˜A˜D−12˜，就是把A用A˜替换，D用D˜替换而已；随机游走拉普拉斯变为Lrw˜=I−D−1˜A˜
然后就是在本文之中后面有关图信号处理的内容有点晦涩难懂。
关于图信号处理：

对于K层GCN的频率响应函数的图像

由以上图像可以知道当随着K的增大，那么频率响应函数在低频段有更好的缩放效果。在图信号中，我们可以把特征值也就是频率响应函数的结果，等价成频率，特征值越低，频率越低，其傅里叶基变化也就越缓慢，节点上的信号就越趋于一致，就越平滑。所以，我们的目的就是让频率响应函数的值越小，这样得到的信号的平滑度就越小，整个网络的效果就越好。
为了证实以上结论，平滑度小的信号，也就是低频的信号对于机器学习任务具有足够的信息。作者做了实验。

3。以上结论的实验证据

作者设计了一个实验，通过低通滤波器截掉数据中的高频信息，然后使用剩下的低频信息进行分类学习，具体过程如下：
1.对数据进行正交化，得到傅里叶基。
2.对信号加入高斯噪音
3.通过频率响应函数调整傅里叶变换系数。
4.利用傅里叶逆变换重构信号
5.将重构的信号送入一个两层的感知机进行分类学习
得到了以上的结果。可以看到作者的方法也就是作者提出的gfnn的方法的准确率是最高的。其次就是上面提到的方法，先滤波，再直接输入2层的感知机。这说明作者提出的gfnn本身就有低通滤波的作用。

4.图滤波器神经网络

如上图所示。
作者举例了3中常见的GNN并加以对比。
第一种：GCN（传统的图卷积网络）

传统GCN如图和公式所示，在每一层中都会将邻接矩阵带入计算并学习参数
第二种：SGC（简单图卷积网络）是一种GCN的变体

如图和公式所示，是一个2层的简单图卷积网络，它省略了多层的参数学习。总的来看就相当于是一个只具有一层感知机的GFNN。
第三种：GFNN（图滤波神经网络）

如图和公式所示，GFNN先将输入的信号进行低通滤波操作，然后输入对应层次数的感知机学习其参数。

5.实验

从实验可以看出来GFNN相较于另外两种都拥有更大的优势。