- 博客(2)
- 收藏
- 关注
RSS订阅原创 联邦学习算法改进方向
联邦学习和FedAvg本身已经是非常创新和前瞻的研究领域，但在不断演进的技术环境中，研究者们一直在努力提出新的点子来进一步改进算法的性能、隐私保护、效率等方面。这些新颖点子都是在不断发展的研究领域中的尝试，目的是提高联邦学习的性能和适应性，使其更好地适应各种实际应用场景。引入自适应学习率、模型结构自适应等机制，使得联邦学习更好地适应不同设备上的数据分布和模型的动态变化。进一步探索去中心化的联邦学习框架，减少对中央服务器的依赖，提高系统的弹性和鲁棒性。
2023-12-12 21:02:25
1095
原创 博客摘录「 深度学习中的随机梯度下降(SGD)简介」2023年11月21日
随机梯度下降的思想是根据每个单独的训练样本来更新权值『换言之，如果每次迭代过程中都要对 n个样本进行求梯度，开销会非常大，而随机梯度下降的思想就是随机采样一个样本来更新参数，计算开销从 O(n)下降到 O(1)』由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。随机梯度下降法正是为了解决批量梯度下降法这一弊端而提出的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是“最速下降法”。
2023-11-25 15:57:32
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人