EIGNN：高效无限深度图神经网络

大多数现代GNN模型遵循一种“消息传递”方案：它们将每个节点的隐藏表示与相邻节点的隐藏表示迭代聚合，以生成新的隐藏表示，其中每个迭代被参数化为具有可学习权重的神经网络层。

图神经网络由于其固有的有限聚合层，现有的GNN模型可能无法有效地捕获底层图中的远程依赖关系。给定T层的GNN模型，其一般来说无法捕获给定节点T跳以上的依赖关系。捕获远程依赖关系的一个简单策略是堆叠大量GNN层，以便从远程节点接收“消息”。然而，当堆叠超过几层时性能较差，称为过度平滑。随着深度的增加，节点表示变得难以区分。除了过度平滑外，具有多个层的GNN模型在实践中需要过多的计算成本，因为它们需要在多个层之间重复传播表示。出于这两个原因，简单地为GNN堆叠许多层并不是捕获长期依赖关系的合适方法。

最近工作：Pei等人[21]提出了一种全局图方法Geom GCN，该方法基于图和嵌入空间构建结构邻域，并使用双层聚合来捕获远程依赖关系。由于Geom GCN仍然只有有限的层，它仍然无法捕获非常长的距离依赖关系。循环GNN模型通常在每个聚合步骤中共享相同的参数，并且可能允许无限步直到收敛。然而他们复杂的训练过程和保守的收敛条件限制了这些方法在实践中的使用。Gu等人[10]提出了隐式图神经网络（IGNN），可以将其视为具有无限层的GNN模型。IGNN可以捕获的信息范围没有任何先验限制。为了实现这一点，IGNN生成预测作为定点平衡方程的解。具体来说，该解是通过迭代求解器获得的。需要额外的条件来确保模型的适定性收敛性，并使用投影梯度下降法来训练模型。迭代求解器的实际局限性已得到广泛认可：可能缺乏鲁棒性；生成的解是近似的；而且迭代次数无法提前知道。我们的实验中，我们发现IGNN在其迭代解算器中有时会经历不收敛。除了不收敛的问题，IGNN的迭代求解器可能效率低下，因为IGNN每次向前或向后传递都需要运行一次。

本文贡献：为了捕捉远程依赖关系，我们提出了无限深度EIGNN模型。为此，我们首先将我们的模型定义为无限图卷积序列的极限，并从理论上证明了它的收敛性。然后，我们为EIGNN推导出易于处理的向前和向后计算然后，我们进一步推导出一种基于特征分解的方法，以改善我们方法的计算/内存复杂性，而不影响其准确性。与最近在合成和真实图形数据集上的基线GNN模型进行了实证比较。结果表明，与其他基线相比，EIGNN具有更好的捕获远程依赖性的能力，并提供更好的性能。此外，噪声敏感性实验的经验结果表明，EIGNN对噪声和对抗性干扰都具有更强的鲁棒性。

隐式模型：隐式网络使用隐式隐藏层，这个隐式隐藏层通过无限计算序列的平衡点定义。这使得隐式网络等价于具有无限深度的前馈网络。

Simple graph convolution (SGC)   H代表深度

 其中代表H个归一化的添加自环的邻接矩阵的积，然后再用softmax算子来获得标签。

EIGNN：B F是可训练权重参数是第H个隐藏层的输出，任意

 任意小g（F）位于半径小于1的Frobenius范数球内，防止无限序列发散。EIGNN将SGC扩展到具有可学习传播的无限深度模型，同时添加了跳过/残余连接。

命题1：任意矩阵X、F和归一化对称邻接矩阵S，无穷序列是收敛的，且收敛的极限可写为：在得到序列的极限后，我们可以在没有迭代解算器的情况下进行正向计算

命题2：给定任意矩阵X、F和归一化对称邻接矩阵S 任意 任意小 ，f（X，F，B）可以不使用迭代解算器获得

 正向计算可以通过迭代解算器产生误差，而使用迭代解算器的反向传递可以放大正向计算的误差。

 命题3： 给定任意矩阵X、F和归一化对称邻接矩阵S 任意 任意小 ，梯度可以不使用迭代解算器计算

 其中且极限可以通过计算

 利用无穷序列的梯度，可以得到目标函数的梯度。目标函数：

 是任意可微损失函数

使用链式法则可得

 

其中 

 EIGNN需要我们计算并存储，内存消耗方面很昂贵

 通过特征分解可以实现更高效的计算。我们通过对更小的矩阵和分别进行特征分解，这样内存复杂度从mn*mn降低到两个大小分别为m*m和n*n的矩阵

 总结：模型EIGNN可以直接获得封闭形式的解，而不是依赖于迭代求解器。避免了迭代求解器的一些常见问题，例如近似解和对超参数的敏感性。避免了IGNN要额外的条件来确保收敛