联邦学习是一种分布式学习方法，它允许在不集中数据的情况下进行深度网络训练。通过在客户端设备上运行模型并仅交换参数，联邦学习在保护用户隐私的同时，利用大量分散的数据。然而，由于客户端数据的非IID性和通讯成本，这种方法可能存在训练速度慢和模型准确性挑战。FedSGD和FedAvg是两种联邦学习策略，FedAvg通过在客户端进行多次训练来减少通信次数，提高效率。
Communication-Effificient Learning of Deep Networks
from Decentralized Data
联邦学习概念提出
通过在手机等客户端部署深度学习网络，使用本地数据进行分布式学习
只将学习所得参数回传服务器，由服务器计算后更新模型并将新的模型参数回传客户端进行下一轮更新，以此实现联邦学习。
为什么要联邦学习
有利于用户隐私保护
能够更有效地利用大规模数据（比如用户手机中有大量有效有用的数据，目前难以进行利用）
联邦学习优缺点
优
数据仅存在客户端中，不需要将数据统一存储至服务器进行训练
节省服务器数据传输及存储消耗
可利用数据量大，训练样本大
缺
需要客户端与用户通信，通讯时间成本高，训练速度较慢
客户端数据类型多样(
最低0.47元/天 解锁文章
扫一扫
886
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
