【论文阅读】FcgFed《Feature-Contrastive Graph Federated Learning: Responsible AI in Graph Information Analy

针对问题：

        图联邦学习中非独立同分布数据造成的局部模型之间的权重差异。

解决方案：

1、设计了一个FcgFed学习系统的架构来分析图信息

        系统架构由三部分组成：通信器，数据加载器，核心。通信包为服务器和客户端提供接口，有助于在每一轮通信中更新模型。数据加载器为每个客户提供本地模型培训的本地数据。核心包包含三个子包，包括训练器、聚合器和损失评估器。训练器从数据加载器包中获取数据，并从通信器中训练共享模型。客户端将根据本地数据更新中心模型。在每一轮通信中的本地模型训练之后，聚合器将通过对本地模型的参数进行平均来在服务器中生成新的中心模型。所有这些软件包构成了一个通用的联邦学习方法系统。

2、提出了基于对比学习的图联邦学习方法，以缓解联邦学习中的权重差异。

改进点：设计一个损失评估器。包含权重相似性损失、模型表示损失和监督学习损失。

        1）基于对比学习的模型表示评估：指出MOON方法中，旧的局部模型也具有用于FL的良好参数，将旧的局部模型和当前的局部模型视为负对，则旧的局部模型性能被否定，从而不能在局部数据中收敛的问题。因此FcgFed去除负对，以提高局部学习能力。将模型对比损失简化为模型表示损失：

        

        其中，zk为当前局部模型，zcent为全局模型。监督学习的损失为： 

        

        模型表示可以部分地引导全局模型收敛。 

        2）权重相似性约束方法：为了避免模型参数矩阵过大，首先对矩阵进行随机采样。如果基本模型是卷积神经网络，我们在每个卷积层中采样M个卷积核cwm∈w，通过concat生成矩阵，可以总结如下：

        

        其中 smp 是对内核进行随机采样。|| 是连接采样的内核。 如果基本模型是全连接神经网络，只需对矩阵的权重进行采样即可生成更小的矩阵。

        然后用均值归一化来归一化矩阵，并计算协方差矩阵。再计算矩阵的特征值和特征向量，选择最大的N个特征值及其特征向量。所有特征向量按行连接以生成新的映射矩阵。最后，评估全局模型的参数和局部模型的参数之间的相似性 ：

        

        模型参数的相似性度量可以直接帮助缓解权重分歧。 

        3）局部训练总损失：

        

参考文献：Zeng X, Zhou T, Bao Z, et al. Feature-Contrastive Graph Federated Learning: Responsible AI in Graph Information Analysis[J]. IEEE Transactions on Computational Social Systems, 2022.