梯度下降：BGD、SGD、mini-batch GD介绍及其优缺点

最新推荐文章于 2024-06-21 21:42:01 发布
最新推荐文章于 2024-06-21 21:42:01 发布
阅读量1w 收藏 32
点赞数 16
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375609/article/details/112913848
版权
本文介绍了梯度下降的三种方式：批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（mini-batch GD），分析了它们的优缺点。BGD利用全数据集计算梯度，适合矩阵运算并行，但速度慢；SGD速度快，但易受单个样本噪声影响，可能陷入局部最优；mini-batch GD兼顾速度和稳定性，是最常用的选择。
摘要由CSDN通过智能技术生成

引言

梯度下降：两个意思，

  1. 根据梯度（导数）的符号来判断最小值点x在哪；
  2. 让函数值下降（变小）。

简单来说就是一种寻找目标函数最小化的方法，它利用梯度信息，通过不断迭代调整参数来寻找合适的目标值。
其共有三种：

  1. BGD,batch gradient descent:批量梯度下降
  2. SGD,stochastic gradient descent:随机梯度下降
  3. mini-batch GD,mini-batch gradient descent:小批量梯度下降

BGD

假设有损失函数：
在这里插入图片描述
y ^ 是预测值，y是真实值，共有m个预测值。若要最小化损失函数，需要对每个参数α 0 , α 1 , . . . , α n 求梯度，但是对BGD通常是取所有训练样本损失函数的平均作为损失函数，假设有β 个样本，则
在这里插入图片描述
所以有梯度更新：
在这里插入图片描述
l为学习率，即步长&#x

最低0.47元/天 解锁文章
Activewaste
关注
专栏目录
神经网络参数优化算法,神经网络损失函数设计
wenangou的博客
10-19 1578
若果对你有帮助，请点赞。 神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。 然后将它更新为新的解，再继续寻找下一步的移动方向的步长，
随机梯度下降法 (SGD)
最新发布
We1ky的博客
07-31 1763
SGD的基本思想是通过逐个样本或小批量样本来更新模型参数，而不是使用整个数据集。这种方法大大提高了计算效率，特别是在处理大规模数据集时。
神经网络各种优化算法
luoyehuixuanaaaa的博客
03-11 3378
https://www.cnblogs.com/guoyaohua/p/8542554.html 梯度下降法是最流行的优化算法之一，并且目前为止是优化神经网络常见的算法。梯度下降是一种通过在目标函数梯度的反向上更新模型参数，来最小化模型参数的目标函数的方法。学习率决定了我们前往（局部）极小值的步长。 梯度下降算法变种，它们不同之处在于我们在计算目标函数梯度时所用数据量的多少。依据数据的规模，我们...
mini_batch GD
weixin_34117522的博客
07-30 182
工作过程：训练总样本个数是固定的，batch_size大小也是固定的，但组成一个mini_batch的样本可以从总样本中随机选择。将mini_batch中每个样本都经过前向传播和反向传播，求出每个样本在每一层每个神经元关于w和b的梯度。注意：同一个mini_batch中所有样本经过网络时，网络的参数是相同的（因为每次梯度更新是经过一个mini_batch后才更新的，不是一个样本就更新）。然后对于每...
算法笔记之GD，BGD，SGD
热门推荐
机器学习知识点整理
01-24 1万+
在讨论GBDT前，先来看看什么是GD，BGD和SGD GD（Gradient Descent，梯度下降）: 求损失函数最小值：梯度下降；求损失函数最大值：梯度上升。 假设线性模型： 其中θ是参数。 损失函数为： 那么每次GD的更新算法为： BGD(Batch Gradient Descent，批量梯度下降)： 在更新参数时使用所有的样本来进行更新。 S
随机梯度下降法(SGD)的优缺点
m0_60668780的博客
06-21 363
SGD的这些优缺点在实际应用中需要权衡。虽然SGD在训练速度和大规模数据集处理上表现出色，但其不稳定性和可能陷入局部最优的问题需要通过合适的超参数设置和可能的算法改进（如Momentum SGD和Adam等）来克服。最近在看李航的统计学习方法，看到第二章感知机，中间阐述了感知机学习问题转化为求解损失函数的最优化问题，这里最优化的方法是采用随机梯度下降法，为了后面系统的复习，以后会记录一些笔记，这里先记录随机梯度下降法的优缺点。
【超详细】对比10种优化函数BGD、SGD、mini-batch GD、Momentum、NAG、Adagrad、RMSProp、Adadelta、Adam、AMSgrad
雷恩Layne
08-13 2148
在实践中常用到一阶优化函数，典型的一阶优化函数包括 BGD、SGD、mini-batch GD、Momentum、Adagrad、RMSProp、Adadelta、Adam 等等，一阶优化函数在优化过程中求解的是参数的一阶导数，这些一阶导数的值就是模型中参数的微调值。另外，近年来二阶优化函数也开始慢慢被研究起来，二阶方法因为计算量的问题，现在还没有被广泛地使用。 深度学习模型的优化是一个非凸函数优化问题，这是与凸函数优化问题对应的。对于凸函数优化，任何局部最优解即为全局最优解。几乎所有用梯度下降的优化方法都
GD(gradient descent):梯度下降法(BGD,SGD,mini-batch GD)
ethan_sui的博客
03-08 1万+
  梯度下降法(GD,gradient descent)是一种优化方法，比如对某个损失函数进行最小化的优化。 其共有三种： BGD,batch gradient descent:批量梯度下降 SGD,stochastic gradient descent:随机梯度下降 mini-batch GD,mini-batch gradient descent:小批量梯度下降 BGD   假设有损失函数...
『NN』神经网络中的优化（一）：梯度下降、随机梯度下降与mini-batch梯度下降
酒狂的博客
05-08 1443
一、梯度下降（Gradient Descent） 二、随机梯度下降（Gradient Descent） 三、Mini-batch梯度下降（Mini-batch Gradient Descent）
利用遗传算法优化神经网络相关参数
04-01
利用遗传算法优化神经网络的相关参数，具有一定的实用性。
梯度下降法的优化方法-梯度下降法
08-27
3. 小批量梯度下降：Mini-batch GD结合了BGD和SGD的优点，每次迭代使用一小批样本（batch-size），既能通过矩阵运算提高效率，又能减少SGD的噪声，提高稳定性。batch-size的选择直接影响训练效果，需要在计算资源和...
一文概览神经网络优化算法
算法进阶
11-05 1047
一、机器学习的优化 机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。 机器学习的优化与传统优化不同，不是简单地根据数据的求解最优解，在大多数机器学习问题中，我们关注的是测试上性能度量P的优化。 然而对于模型测试集是未知，我们只能通过优化训练集的性能度量P_train，在独立同分布基础假设下，期望测试集也有较好的性能（泛化效果），这意味并不是一味追求训练集的最优解。 另外，有些情况性
机器学习之SGD, Batch, and Mini Batch的简单介绍
牛牛博士博客
10-01 1238
机器学习之SGD, Batch, and Mini Batch的简单介绍
SGD（随机梯度下降算法）的缺点
小杨的博客
09-22 4008
虽然SGD很容易实现，到纳什在解决某些问题时，可能没有效率 例如：
SGD方法的好处和失效的场景，以及解决办法
zlb872551601的博客
12-16 4735
SGD方法的好处和失效的场景，以及解决办法 SGD方法的好处是，不必计算所有样本的梯度， 这样做的效果是快，快在两方面，一方面计算快，一方面是收敛快， 计算快好理解，只计算了一个样本的梯度， 收敛快是指，如果不是特别差的损失函数，（这里差是指难优化的意思）， 假设数据量100w,那么全局梯度下降更新一次梯度的计算时间，sgd已经更新了100w次，所以到达收敛状态所需的时间更短了。 失效的场景： 因...
mini-batch SGD 和 backprop
moyu916的博客
05-08 267
mini-batch SGD 是先将train_data顺序打乱，每次取mini-batch个训练数据进行一次梯度下降与反向传播。取完整个训练集称为一个epoch 在⼀个⼩批量数据上的反向传播的全矩阵⽅法 我们对于随机梯度下降的实现是对⼀ 个⼩批量数据中的训练样本进⾏遍历。所以也可以更改反向传播算法使得它同时对 ⼀个⼩批量数据中的所有样本进⾏梯度计算。这个想法其实就是我们可以⽤⼀个矩阵 X = [...
批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
厚积薄发的博客
08-14 3066
Batch 的选择，首先决定的是下降的方向。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值