- 更多内容及实时更新请关注我的个人技术文档分享:www.ywenrou.cn
- 如需引用请注明出处,谢谢!
虽然 FedSGD 通常会使用客户端的整个本地数据集进行训练,但它仍然被认为是随机梯度下降的一种变体,因为在整个联邦学习过程中,不是所有客户端的数据都被同时使用。每轮只有一个随机子集的客户端参与训练,这导致了随机性。此外,FedSGD 的梯度更新会受到来自不同客户端的噪声影响,这是 SGD 的一个关键特征。
总之,尽管 FedSGD 在每个客户端使用全批次数据进行梯度更新,但在整个联邦学习过程中,它仍然涉及随机子集的客户端更新,因此仍然被认为是随机梯度下降的一种变体。