sgd 参数详解_深度学习-优化器算法的比较(BGD\SGD\MBGD)——第一节

最新推荐文章于 2024-01-19 15:30:00 发布

weixin_39929138

最新推荐文章于 2024-01-19 15:30:00 发布

阅读量522

点赞数

文章标签： sgd 参数详解

本文链接：https://blog.csdn.net/weixin_39929138/article/details/111643379

版权

本文对比了三种梯度优化算法：批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（MBGD）。BGD计算整个数据集的梯度，适合小数据集；SGD每次更新基于单个样本，快速但可能震荡；MBGD取两者的平衡，使用小批量数据更新，收敛平滑但需谨慎设置学习率。

摘要由CSDN通过智能技术生成

本文参考的论文和博客如下：

https://arxiv.org/pdf/1609.04747.pdfarxiv.org 深度学习--优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam） - 郭耀华 - 博客园www.cnblogs.com

第一部分：

总的来说，梯度优化算法被分为三种形式：

ps：η为learning rate，带下标的x、y为样本和对应标签

1：BGD( Batch gradient descent) 批量梯度下降

顾名思义, Batch gradient descent 将计算在参数θ下整个数据据的损失，并将该损失应用于梯度更新。换句话说，我们需要计算整个数据集的梯度仅仅只用来进行一次更新，显而易见，BGD这种方法十分缓慢，且对于无法一次性加载进内存的数据集时不适宜的，且无法投放新的数据对模型进行在线更新。

公式如下：