【解读】Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge FedCS 客户端选择

FedCS 背包问题贪心选择客户端依次上传

文章元数据

Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
ICC 2019 - 2019 IEEE International Conference on Communications (ICC)
DOI：10.1109/ICC.2019.8761315
767 citations (Semantic Scholar/arXiv) [2023-06-14]
arXiv:1804.08333 [cs]

全局

加入了请求资源和选择

细节

占用时间为更新+上传时间

客户端一个接一个上传，所以i轮更新时间要么是0要么是一个客户端的时间减去更新时间（上一个上传完，自己还没计算好）

能选多少个选多少个，时间大于等于选择时间+下发时间+更新和上传时间+聚合时间。具体信息靠 请求资源 这一步获取。

算法

贪心背包问题，每次选择花费上传和更新消耗时间少的客户端直到达到每轮时间限制。每轮时间限制靠实验检测。

实验评估

模拟的稳定环境，客户端数量1000，带宽从1.4Mbit/s到8.6之间。用高斯分布。同时假设服务器速度足够快可以忽略聚合和选择花费的时间

使用CIFAR10和Fashion MNIST。每个客户端上数据随机在100到1000之间。有IID设置（全剧随机采用）和非IID（挑两类）。每轮10%客户端参与。testing set只用于评估表现。

模型是一个CNN，6卷积+3MLP+batch norm 和 max pooling。cifar10模型18.4mb，后者14.4mb，应该是彩色导致不同。

用每秒钟可以处理的样本数代表客户端能力，从10到100中随机产生。于是更新和上传时间大概在5-500s之间的高斯分布。一轮3分钟，一共360分钟

baseline：没有贪心过的随机选择上传。

IID效果对比：显然Fed CS更好，速度优势更大（精准度优势不大）；到达相同精度所需时间更少。算法目标并非达到最高准确率，而是资源受限条件下的有效训练。

每轮时间不能太长太短；太长效果有限（只聚合一次），太短没几个客户端参与。未来方向考虑动态比例设置；

NonIID效果对比：效果比baseline好，不过也不能达到很理想的效果；但是准确率能比baseline高20-30%；未来方向考虑模型压缩从而上传更多客户端。

总结

优点：到23年6.14号引用700多，可能是最早的研究联邦学习客户端选择的工作之一。提出了有意义的发展方向，虽然算法本身简单但是有效。

缺点：对于其中的部分资源设置、场景设置比较简单；算法本身是比较简单的贪心算法解决0-1背包问题；没有在真实场景下应用；

未来发展方向：

1. 数学上的收敛性分析
2. 更复杂的资源设置
3. 更复杂的联邦学习算法的加入
4. 对客户端评判标准的进一步细化和优化