联邦学习学习（模型理解）

记录看完论文后对联邦学习方法的理解和总结，有理解不对的欢迎大家交流和指正

FedDF（24/8/27）

论文：Ensemble Distillation for Robust Model Fusion in Federated Learning
主要解决问题：客户端异构（数据异构、模型异构）导致性能下降
创新点：使用无标签数据、或者生成器生成的数据通过知识蒸馏融合客户端知识，在保证用户数据隐私的同时降低了数据异构、模型异构的影响且增强了全局模型的性能。且具有较好的鲁棒性。
理解模型：模型整个流程
一.本地模型算法是同构的但是数据是异构的：

模型是这样的，首先有K个客户端，一共进行T轮客户端和服务端的数据传输，每轮会随机抽出C(这个是个比例)的客户端激活进行训练（也就是$S_t$个激活，看上面伪代码）对于每一轮通信前，本地模型会进行本地模型训练，这个训练使用的是本地独有的数据，因此每个模型训练出来的效果大同小异。本地模型训练完后会进行一轮通信，将本地模型的参数传送给服务端模型。服务端接收到$S_t$个本地模型参数后会根据数据量对本地模型参数进行加权平均。（到此就是一趟Fedavg了）接着以这个全局模型为学生模型。以传输上来的本地模型为教师模型。接着直接使用（1）其他范围的无标签数据。（2）生成器生成的数据（这里绕过了客户端数据，保护了隐私，虽然没有使用到客户端数据，但是这里仍然达到了较好的蒸馏效果）
数据通过教师模型，接着得到若干个软标签（几个概率）最后对这些软标签进行加权平均，得到一个全局的软标签。同时数据也通过前面生成的全局模型，同样也生成一个软标签，然后计算KL损失，优化全局模型。这样集中式知识蒸馏就结束了。知识蒸馏后的全局模型。相对于Fedavg这个模型相当于再通过软标签修正了一下模型。
一.本地模型算法是异构的但是数据是异构的：

若本地模型算法是异构的，就不能直接对各个客户端模型进行简单的加权平均获得全局模型了，因为算法不同网络结构也不同，参数数量都对应不上，没办法加权平均。这里相对于上面主要的应对措施是，若干个客户端，若干种算法，将传输上来的客户端按照算法种类分类。同一类的模型进行上面的蒸馏操作。最后将若干类的最终模型分配给指定类别的客户端，实现客户端模型更新

持续更新

持续更新

持续更新

持续更新

持续更新

持续更新