摘抄
Federated learning (aka collaborative learning) is a machine learning technique that trains an algorithm across multiple decentralized edge devices or servers holding local data samples, without exchanging their data samples.
不同于:
- 传统centralized ML techniques 所有数据上传到一个sever.
- 经典的decentralized approaches假设local数据是 identically distributed.
设定
- 训练数据不能远离其来源。这种约束的原因可能包括隐私问题,监管障碍和实际工程限制(网络连接昂贵,速度慢或不可靠,或数据量太大了)。
- 有助于无法收集数据的情况。
联合平均
Process:
-一个general的原则就是用本地数据训练本地模型并且以一定的频率与其他本地模型交换parameters来产生一个global model. (server可有可无)
-Sever向每个node发送训练特定类型的模型。