TPAMI 2024 | 解耦图神经网络：同时训练多个简单的GNN而不是一个

Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One

解耦图神经网络：同时训练多个简单的GNN而不是一个

Hongyuan Zhang; Yanan Zhu; Xuelong Li

---

摘要

图神经网络（GNN）由于节点依赖随着层数增加呈指数增长，导致严重的效率问题。这极大地限制了随机优化算法的应用，使得GNN的训练通常耗时较长。为了解决这个问题，我们提出了将多层GNN解耦为多个简单模块以实现更高效的训练，该框架包括经典的前向训练（FT）和设计的反向训练（BT）。在所提出的框架下，每个模块都可以在FT中通过随机算法高效地训练，而不会因简单性而扭曲图信息。为了避免FT中单向信息传递以及充分训练浅层模块与深层模块，我们开发了一种反向训练机制，使前层模块能够感知后层模块，灵感来自经典的反向传播算法。反向训练引入了解耦模块中的反向信息传递以及前向信息传递。为了研究解耦和贪婪训练如何影响表征能力，我们理论上证明了在线性模块中产生的误差在大多数情况下不会在无监督任务中累积。理论和实验结果表明，所提出的框架具有高效性并且性能合理，值得进一步研究。

关键词

• 反向训练
• 高效训练