【无标题】

新手小白（虽然已经研二了）解读文献，记录一下，如有误，请各位大佬补充纠正。最近在备考雅思，所以不得不读雅思文章，虽然没读几篇，但是慢慢克服了我对全英文章的恐惧，这篇文章基本没有用翻译，除个别生词外。强烈大家脱离翻译读文献！！！不仅能够读进文章，还能读懂一点。

本文创新点

客户端聚类、子网分配、子网并行搜索神经网络架构

联邦学习框架

三层框架：Parameter Sever、aggregator、client

client本地训练λ1次，进行一次aggregator聚合；client与aggregator之间聚合λ2次，进行一次Parameter Sever聚合，即全局模型更新。
在parameter server中训练supernet，针对不同的client cluster分配不同的subnet。

具体算法如下

客户端聚类

1.初始化参数：数据大小、计算时间阈值、收敛阈值
2.随机挑选一个client进行cluster聚类初始化
3.每个cluster中，设置最大clients和完成时间
4.考虑client本身数据分布，以及原始cluster中数据分布进行聚类
使用EMD距离（earth mover distance）衡量两个数据集之间的分布差异

子网分配

1.初始化分配策略、cluster j 的资源消耗、子网集
2.server收集信息：cluster j 的资源消耗、cluster j 使用子网i时的精确度
3.计算每个cluster的数据non-IID等级
4.根据non-IID等级，由低到高排序cluster
5.根据准确度/资源消耗，由高到低排序subnet
6.以上两者，一一对应分配

实验仿真

1）仿真设置
客户端：batch size=50，本地模型训练迭代次数=5，lr=0.05(cossin规则衰减)
数据集：CIFAR10,ImageNet ILSVRC-2012
数据划分：1个IID数据、4个不同等级non-IID数据
2）仿真结果
CIFAR10数据集网络架构

收敛性能
实验一
与HFL对比，评估NAS的效率
与Random对比，评估FINCH中SA-HNAS的有效性，即评估为每个客户端集群分配子网的算法的有效性
结果表明，NAS有效，客户端分配子网算法有效

在这里插入图片描述
实验二
对比其他NAS框架，不论对IID数据还是non-IID数据，FINCH准确率都有提高

对比其他NAS框架，对于完成时间和计算开销（FLOPs），FINCH都有提高

提高有限资源的边缘计算。

思考

non-IID和资源有限都是client的特点，所以进行聚类可以提高效果。
分层减少通信、提高准确率
启发：把别人做的结合起来，要是这个结合别人做了，就在它的基础上添加分层这种额外的操作。想不到实际对我用的别的启发了。