BIGCN翻译

摘要

图卷积网络在图结构数据上取得了巨大的成功。 许多图卷积网络可被视为图信号的低通滤波器。 在本文中，我们提出了一种新的模型BiGCN，它将模型神经网络表示为双向低通滤波器。 具体而言，我们不仅考虑原始图结构信息，还考虑特征之间的潜在相关性，因此BiGCN可以将信号与原始图和潜在特征连接图一起过滤。 在大多数基准数据集的节点分类和链接预测任务中，我们的模型优于以前的图形神经网络，尤其是当我们向节点特征添加噪声时。有关更多实验性详细信息，请参阅我们的代码：https://github.com/Sherczxk/ BiGCN。

引言

图形是机器学习领域的重要研究对象，因为它们是诸如社交网络和引文网络之类的结构数据的良好载体。 近年来，由于图神经网络（GNN）在图表示学习中的出色表现，受到了广泛的关注。
图神经网络将节点特征和图结构（例如邻接矩阵）作为输入，并将图嵌入到低维空间中。 随着GNN在各个领域的成功（Kipf＆Welling，2017; Velickovi C et al。，2017; Hamilton et al。，2017; Chen et al。，2018），越来越多的努力集中在为什么 GNN是如此强大（Xu et al。，2019）。
Li等人（Li等人，2018）重新检查了图卷积网络（GCN），并将其与拉普拉斯平滑法联系起来。 NT和Maehara等人（NT＆Maehara，2019）在图信号处理方面重新审视了GCN，并解释说许多图卷积可以被视为低通滤波器（例如（Kipf＆Welling，2017; Wu等，2019） ）可以捕获低频成分并通过使连接节点更相似来消除一些特征噪声。 实际上，这些发现并不新鲜。 自从它在Bruna等人中首次出现以来。 （2014年），频谱GCN与图形信号处理和去噪密切相关。 频谱图卷积运算是从图傅立叶变换得出的，并且可以将滤波器表示为关于图拉普拉斯矩阵的函数，表示为g（L）。 在一般频谱GCN中，前向函数为：H（l + 1）=σ（g（L）H（l））。
Kipf和Welling（Kipf＆Welling，2017）使用一阶Chebyshev多项式近似g（L），可以通过将增强的归一化邻接矩阵与特征矩阵相乘来简化。 尽管效率很高，但发现该一阶图形滤波器对图形信号和底层图形结构的变化敏感（Isufi等人，2016; Bianchi等人，2019）。 例如，在图的孤立节点或小的单个组件上，由于缺少可靠的邻居，它们的去噪效果非常有限。 潜在的不正确的结构信息也将限制GCN的功能，并对更深的层造成更多负面影响。 由于在现实世界的图形数据中不可避免地会产生嘈杂/错误的信息，因此需要更强大，更强大的GCN来解决此问题。 在这项工作中，我们提出了一种新的图神经网络，从图信号处理的角度以及对图结构的更高容错性的角度来看，它具有更强大的去噪效果。
与图像数据不同，图形数据通常具有高维特征，并且每个维之间可能存在一些潜在的关联/相关性。 注意，我们将此连接信息考虑在内，以抵消某些不可靠的结构信息的影响，并删除通过在这样的“特征图”上应用平滑度假设来产生额外的噪声。 从此特征图中的附加Laplacian平滑正则化派生而来，我们获得了一个新的光谱GCN变体，称为BiGCN，其中包含原始图和每个卷积层中潜在特征连接图的低通图滤波器。 我们的模型可以从两个图表中提取低频分量，因此它比原始频谱GCN更具表现力； 并从两个方向消除了噪音，因此它也更坚固。
我们在两个任务上评估我们的模型：节点分类和链接预测。 除了原始图形数据之外，为了证明我们的模型在图形信号降噪和容错方面的有效性，我们设计了三种具有噪声/结构错误的情况：将具有不同方差的高斯噪声随机添加到一定百分比的节点上 ; 在整个图形特征上添加不同级别的高斯噪声； 并更改一定比例的连接。
在这些实验中，我们模型的卓越性能证明了我们在干净数据和嘈杂数据上的强大功能和稳健性。
这项工作的主要贡献概述如下。
•我们提出了一个新的框架，用于学习具有节点特征的图的表示形式。
我们不仅考虑原始图形中的信号，还考虑了特征相关性并使模型更加健壮。
•我们基于拉普拉斯平滑建立图神经网络，并使用乘数交替方向法（ADMM）算法导出双向低通图滤波器。
•我们设置了三种情况，以证明我们的模型在节点分类和链接预测任务中具有强大的去噪能力和较高的容错能力。

相关工作

我们总结了图信号处理和去噪领域中的相关工作以及频谱图卷积网络的最新工作，如下所示。
2.1图形信号处理和去噪
图形结构化数据在世界范围内无处不在。 图信号处理（GSP）（Ortega et al。，2018）旨在分析和处理其值在图顶点集合上定义的图信号。 可以将其视为经典信号处理与频谱图理论之间的桥梁。 该领域的研究的一条线是将傅立叶变换推广到图域以及开发功能强大的图过滤器（Zhu＆Rabbat，2012； Isufi等，2016）。 它可以应用于各种任务，例如表示学习和去噪（Chen等，2014）。 最近，GSP的工具已成功用于光谱图神经网络的定义，在GSP和深度学习之间建立了牢固的联系。 在这项工作中，我们从图形信号处理的概念重新开始，并定义了用于深度图形学习和图形去噪的新平滑模型。 值得一提的是，GSP中的降噪/鲁棒性概念与对抗攻击的防御/鲁棒性不同（例如（Zugner＆G-unnemann，-2019）），因此我们没有与这些模型进行比较。
2.2谱图卷积网络
受卷积神经网络在图像和其他欧几里德领域的成功启发，研究人员还开始将深度学习的功能扩展到图。 在图上定义卷积运算的最早趋势之一是使用图傅里叶变换及其在谱域而不是原始空间域中的定义（Bruna等人，2014）。 Defferrard等人（Defferrard等人，2016）提出了ChebyNet，该方法将一个滤波器定义为特征值对角矩阵的Chebyshev多项式，可以精确地定位在k跳附近。 后来，Kipf和Welling（Kipf＆Welling，2017）使用一阶多项式滤波器简化了Chebyshev滤波器，这导致了著名的图卷积网络。 最近，已经开发了许多新的光谱图滤波器。 例如，提出了有理自回归移动平均图滤波器（ARMA）（Isufi等人，2016; Bianchi等人，2019）来增强建模人工神经网络的能力。 与多项式滤波器相比，ARMA滤波器更加健壮，并提供了更灵活的图形频率响应。 反馈环路滤波器（Wijesinghe＆Wang，2019）进一步提高了定位和计算效率。 图卷积网络还有另一种类型，它通过聚集来自邻居的信息来定义空间域中的卷积运算。 空间类型与我们的工作并不紧密相关，因此超出了我们的讨论范围。 正如我们将在后面讨论的那样，我们的模型与频谱图卷积网络紧密相关。 我们从拉普拉斯平滑的角度定义图过滤器，然后将其不仅扩展到原始图，而且扩展到潜在特征图，以提高模型的容量和鲁棒性。