时空数据建模的跨节点联邦图神经网络：KDD21 Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling

前言

联邦学习（FL）虽然已经被广泛研究，但是对复杂的时空依赖关系进行建模以提高预测能力仍然是一个开放的问题。此外目前最优的时空预测模型假定对数据的访问不受限制，忽略了对数据共享的限制。基于此，本文提了一个基于图联邦学习的时空数据模型 Cross-Node Federated Graph Neural Network (CNFGNN)，该模型在跨节点联邦学习的约束下，使用基于图神经网络（GNN）的架构对底层图结构进行编码，属于结构化联邦的一种，每个本地模型利用私有数据进行学习，并保持分散性。CNFGNN 通过分解客户端的时间动态过程和服务器的空间动态过程完成建模，利用交替优化降低通信成本，实现结构联邦中客户端的协同训练。

介绍

联邦学习（FL）实现基于多个本地客户都安的分散数据来训练模型，但是没有考虑固有的时空依赖性，或通过在模型权重的正则化中强加图结构来隐含建模。后者受到基于正则化方法和归纳式学习的限制。Cross-Node Federated Graph Neural Network (CNFGNN) 旨在跨节点联邦学习约束下有效地建立复杂的时空依赖关系。为此，CNFGNN 对时间和空间依赖关系的建模进行分解，在每个本地客户端上使用 encoder-decoder 模型来提取本地数据的时间特征，在服务器上使用基于图神经网络（GNN）的模型来捕捉本地客户端间的空间依赖关系。

与现有的依靠正则化控制本地客户端间关系的联邦学习方法相比，CNFGNN 利用基于 GNN 的显式图结构，从而带来性能的提升。然而受限于数据共享的约束，GNN 不能以数据集中的方式进行训练。基于此，CNFGNN 采用分割学习来训练空间和时间模块。为平衡通信成本，本文提出了一个基于交替优化的训练方法（alternating optimization-based procedure），与一般的分布式学习框架相比，只产生了一半的通信开销并且本文使用 FedAvg 训练所有节点的共享时间特征提取器。一般的捕捉数据之间关系的多任务学习框架。虽然在一定程度上缓解了邻域信息缺失的问题，但不像 GNN 模型那样有效，仍然存在缺乏特征交换和聚合的问题。

由于不同用户/组织所拥有的不同客户端上收集的数据可能由于边缘计算的需要或数据访问的许可问题而不允许共享，因此有必要设计一种对时空关系进行建模的算法，而无需直接交换节点级数据.

主要贡献如下：

（1）我们提出了跨节点联邦图神经网络（CNFGNN），这是一种基于GNN的联邦学习体系结构，可以捕获多个节点之间复杂的时空关系，同时确保在边缘设备上以不额外计算成本的方式保持局部生成的