分布式机器学习采用client-server架构(或master-slave架构), 联邦学习则不一样,它需要考虑 系统异构性 统计异构性(non-IID) 数据隐私 FedAvg兼顾了通信开销和收敛率问题,具体过程如下: