1.隐私或者数据量过大-》数据孤岛
2.和分布式机器学习相比,计算更聚集在本地端
3.给出了梯度average的方法
FL数据特点:
1.非独立同分布
2.不上传数据
和Distributed Learning的区别:
1.Server对用户设备的控制权
DL对worker的数据上传有很大的要求
FL不限制上传数据的时间点和频率
2.用户节点的稳定性
DL:稳定、相同
FL:不稳定、各种各样的场景
3.通信代价
DL:通信稳定高速
FL:通信能力各异
4.独立同分布
DL:大家差不多(同分布)
FL:大家不一样
5.负载问题
DL:负载平均
FL:负载不平均
近两年关于FL的论文都是关于通信和鲁棒性的研究。
并行梯度计算的思路时每次更新梯度都要在云端整合。
而FA在本地端计算很多次,然后自适应的权重更新。
FL和CloudRobotic的联系
https://www.jianshu.com/p/68b927e3a30b
好书推荐!!!
网络不同的时候
标签生成网络
联邦学习中的云端客户端的模型训练和效果往往和迁移学习相关,有时候迁移学习的上届往往决定了FL的模型上界。