【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains（聚类驱动的图联邦学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

文章目录

• 论文信息
• 摘要
• 主要贡献
• 聚类驱动的图联邦学习
• • 问题定义
    • 联邦聚类
    • 聚类模型
    • 聚类模型的联系
    • FedCG框架

论文信息

Cluster-driven Graph Federated Learning over Multiple Domains

原文链接：Cluster-driven Graph Federated Learning over Multiple Domains：https://openaccess.thecvf.com/content/CVPR2021W/LLID/papers/Caldarola_Cluster-Driven_Graph_Federated_Learning_Over_Multiple_Domains_CVPRW_2021_paper.pdf

摘要

Federated Learning (FL) deals with learning a central model (i.e. the server) in privacy-constrained scenarios, where data are stored on multiple devices (i.e. the clients). The central model has no direct access to the data, but only to the updates of the parameters computed locally by each client. This raises a problem, known as statistical heterogeneity, because the clients may have different data distributions (i.e. domains). This is only partly alleviated by clustering the clients. Clustering may reduce heterogeneity by identifying the domains, but it deprives each cluster model of the data and supervision of others. Here we propose a novel Cluster-driven Graph Federated Learning (FedCG). In FedCG, clustering serves to address statistical heterogeneity, while Graph Convolutional Networks (GCNs) enable sharing knowledge across them. FedCG: i) identifies the domains via an FL-compliant clustering and instantiates domain-specific modules (residual branches) for each domain; ii) connects the domain-specific modules through a GCN at training to learn the interactions among domains and share knowledge; and iii) learns to cluster unsupervised via teacher-student classifier-training iterations and to address novel unseen test domains via their domain soft-assignment scores. Thanks to the unique interplay of GCN over clusters, FedCG achieves the state-of-the-art on multiple FL benchmarks.

联邦学习( Federation Learning，FL )是在隐私受限的场景中学习一个中心模型(即服务器)，其中数据存储在多个设备(即客户)上。中心模型不直接获取数据，只对每个客户端本地计算的参数进行更新。这就产生了一个问题，称为统计异质，因为客户可能具有不同的数据分布(即域)。聚类可以通过识别领域来降低异构性，但是它剥夺了每个集群模型的数据和其他人的监督。

本文提出了一种新的聚类驱动的图联合学习( Fed CG )。在FedCG中，聚类服务于解决统计异构性，而图卷积网络( Graph Convolutional Networks，GCNs )则实现了跨网络的知识共享。
FedCG：i ）通过符合FL的聚类来识别域，并为每个域实例化域特定的模块(残差分支)；ii) 在训练中通过GCN连接特定于域的模块，以学习域之间的交互并共享知识；iii ) 学习通过teacher-student 分类器-训练迭代进行无监督聚类，并通过其域软分配分数来处理新的看不见的测试域。

得益于GCN在聚类上的独特交互，FedCG在多个FL基准上达到了最先进的水平。

主要贡献

1. 提出了第一个基于聚类驱动的GCN方法来解决FL场景中的统计异质性问题。得益于通过GCN学习到的域之间的交互，知识根据基于相似性的准则在域之间共享，降低了过拟合的风险，并帮助填充较少的域。
2. 引入了一个为联邦学习场景设计的迭代师生聚类算法，它允许通过软分配适应新的领域。这样可以在不违反FL约束的情况下捕获不同的域分布。每个领域分配模型特定的组件，通过GCN交互进行训练。
3. 我们在多个FL基准上评估了我们的模型，在这些基准上，我们与最先进的模型进行了比较。

聚类驱动的图联邦学习

问题定义

我们的目标是学习一个函数f θ：X —> Y，以θ为参数，将输入空间X中的样本映射到输出空间Y中对应的语义。具体来说，我们关注一个分类任务，其中X包含图像，而Y是定义在一组标签上的概率。

在FL设置中，服务器没有直接访问数据的权限，但是可以与一组客户端C进行通信，其中每个客户端c∈C访问一个本地数据集，其中x∈X，y∈Y。

在此情景下，可以通过查询客户端并依靠其本地更新的参数θ来学习f θ。特别地，由于| C |很大，我们可以假设在通信轮中执行同步更新方案，其中在每一轮中，一组K客户端接收f θ，其中| K |远小于| C |。每个客户端通过最小化给定的目标函数，用其本地数据集计算θ的局部更新，即θ k。由于我们考虑分类任务，我们通过最小化标准交叉熵损失来更新θ k：

其中，表示由f θ给出的x属于该类的概率。

通过上式，我们得到每个客户端对应的局部参数θ k，以解决该客户端上数据集的分类问题。在每一轮，服务器收集所有的局部更新，并将它们组合起来更新中心模型参数θ。一个简单而有效的聚合本地更新的策略是FedAvg ，它计算θ作为每个θ k的加权平均值：

异质性可能是FedAvg的一个问题，一般而言，对于FL策略，由于在非独立同分布和不平衡数据中缺乏收敛性保证。在实际应用中，每个客户端在X和Y上的联合概率分布通常是不同的，即给定两个客户端c和k，且c != k，则有

为了解决这个问题，我们提出了一种方法，
(1) 通过聚类识别不同客户端中存在的分布(即域)；
(2) 实例化特定领域的组件，使模型适应每个领域；
(3) 通过一个GCN使各个特定领域的模块进行交互，更新其中一个模块可以使其他模块受益。
下面分别对这些要素进行描述。

联邦聚类

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

a57acb)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！