KDD2022论文:Streaming Graph Neural Networks with Generative Replay【概读】

增量训练图神经网络(gnn)是一个特别紧迫的问题，因为现实世界的图数据通常以流方式到达，模型更新效率低下会导致过时的嵌入，从而降低其在下游任务中的性能。传统的增量式学习方法在学习新模式的同时会逐渐忘记旧知识，这是灾难性的遗忘问题。尽管保存和重访历史图形数据缓解了这个问题，但现实应用中的存储限制减少了保存的数据量，导致GNN忘记了其他知识。在本文中，我们提出了一种基于生成重播的流GNN，它可以在不访问历史数据的情况下，在保持现有知识的同时，增量地学习新的模式。具体来说，我们的模型由主模型(GNN)和辅助生成模型组成。基于重新开始随机行走的生成模型可以学习并生成假的历史样本(即节点及其邻域)，可以用真实数据进行训练，避免遗忘问题。此外，我们还设计了生成模型的增量更新算法来保持图的分布，并为GNN捕获当前模式设计了增量更新算法。我们的模型在不同的流数据集上进行了评估。节点分类结果表明，该模型能够有效地更新模型，达到与模型再训练相当的性能。