深度学习—加快梯度下降收敛速度（一）：mini-batch、Stochastic gradient descent

最新推荐文章于 2024-07-29 15:57:11 发布
最新推荐文章于 2024-07-29 15:57:11 发布
阅读量1.3w 收藏 22
点赞数 3
分类专栏： 机器学习 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hdg34jk/article/details/78864070
版权
本文探讨如何加速深度学习模型的收敛速度，主要介绍mini-batch和Stochastic gradient descent两种方法。mini-batch通过分组计算梯度，提高更新参数的效率，而Stochastic gradient descent每次迭代使用单个样本，尽管速度较快但收敛路径曲折。对比来看，mini-batch在速度和稳定性间取得平衡，常优于传统的batch gradient descent。
摘要由CSDN通过智能技术生成

在深层神经网络那篇博客中讲了，深层神经网络的局部最优解问题，深层神经网络中存在局部极小点的可能性比较小，大部分是鞍点。因为鞍面上的梯度接近于0，在鞍面上行走是非常缓慢的。因此，必须想办法加速收敛速度，使其更快找到全局最优解。本文将介绍mini-batch与Stochastic gradient descent方法。

这里写图片描述

1.mini-batch

之前的梯度下降法是将训练集所有的梯度计算之后，再更新参数，这样大部分时间浪费在计算梯度上。而mini-batch是将训练集分组，分组之后，分别对每组求梯度，然后更新参数。加入分 8组，则每次迭代将会做8次梯度下降，更新8次参数。所以mini-batch比传统的梯度下降法下降的速度快，但是mini-batch的cost曲线没有传统梯度下降法的cost曲线光滑，大致对比如下：

梯度下降过程
这里写图片描述

mini-batch下降过程
这里写图片描述

mini-batch实现步骤：

  • 确定mini-batch size，一
最低0.47元/天 解锁文章
秋风05
关注
专栏目录
小批量随机梯度下降(Mini-batch Stochastic Gradient Descent)
weixin_55196798的博客
11-13 3871
对于深度学习模型而言，人们所说的“随机梯度下降, SGD”，其实就是基于小批量（mini-batch）的随机梯度下降。 小批量随机梯度是在梯度下降的基础上带有随机性 在我们的全部样本中随机选取b个样本，把这些样本组成一个新样本，用于我们的梯度下降。 步骤： 时刻1时随机的取一个 w ； 持续时间到模型收敛（发现目标函数在每个样本平均的损失不再下降；或者是其他的指标基本上趋向平衡）： 在每一步里，在所有的样本中随机采样1个 l 出来，I 的大小是...
PyTorch深度学习实践 3.梯度下降算法--＞mini-batch stochastic gradient descent
qq_35988224的博客
01-19 473
分治法 w1和w2 假设横竖都是64 横竖都分成4份，一共16份。 第一次在这16份里，找出比较小的点， 再来几轮，基本就OK了。 从原来的16x16变成了16+16 贪心法 梯度下降法，局部最优，实际上，大家发现神经网络里并没有很多的局部最优点 鞍点g=0，无法迭代了 指数加权均值，更平滑 一定要收敛，发散说明失败了，可能是学习率太大 随机梯度下降，可以克服鞍点 梯度下降可以并行，快 随机梯度下降，只能串行，慢，但可以克服鞍点 折中 批量随机梯度下降batch ...
【深度学习】mini-batch训练思想及方法
最新发布
weixin_62619776的博客
07-29 236
如果面临过拟合问题，则可以考虑减小batch size，同时注意监测训练和验证的损失曲线，以便找到最佳的batch size。使用mini-batch训练的主要原因是它结合了全批量训练和随机梯度下降的优点，能够在加速收敛的同时提高模型的泛化能力。然而，选择不当的batch size可能导致训练过程的不稳定，甚至影响最终模型的性能。Mini-batch训练方法将整个训练数据集划分为多个小批量（mini-batches），每个小批量包含一定数量的样本。这样循环进行，直到所有mini-batch均被遍历完。
Minibatch Stochastic Gradient Descent
Subspace
08-30 279
Reference: https://d2l.ai/chapter_linear-networks/linear-regression.html https://d2l.ai/chapter_linear-networks/linear-regression-scratch.html Gradient descent x←x−η∂xL(x) \mathbf x\leftarrow \mathbf x-\eta \partial_{\mathbf x}\mathcal L(\mathbf x) x←x−η∂x
Stochastic Gradient Descent vs Batch Gradient Descent vs Mini-batch Gradient Descent
silence2015的专栏
12-16 2529
梯度下降是最小化风险函数/损失函数的一种经典常见的方法，下面总结下三种梯度下降算法异同。1、 批量梯度下降算法（Batch gradient descent）以线性回归为例，损失函数为BGD算法核心思想为每次迭代用所有的训练样本来更新Theta，这对于训练样本数m很大的情况是很耗时的。BGD算法表示为 或者表示为 其中X(m*n)为训练样本矩阵，α为学习速率，m为样本数，y(m*1)
AI学习指南数学工具篇-梯度下降算法之小批量梯度下降（Mini-batch Gradient Descent）
俞兆鹏的博客
05-17 1499
在本文中，我们详细介绍了小批量梯度下降算法的原理、优点和应用，并通过图像分类和语言模型两个实际示例展示了该算法在深度学习领域的应用。小批量梯度下降算法作为一种介于批量梯度下降和随机梯度下降之间的优化算法，在大规模数据集和复杂模型训练中具有较大的优势，能够更快地收敛和更有效地优化模型参数。希望本文能够帮助读者更好地理解小批量梯度下降算法，并在实际应用中取得更好的效果。
2016-J神-Mini-Batch Semi-Stochastic Gradient Descent in the Proxi
08-03
Batch Semi-Stochastic Gradient Descent in the Pr"进一步确认了这是一项发表在爱丁堡研究探索器上的研究，涉及到了Mini-Batch和Semi-Stochastic Gradient Descent（半随机梯度下降）的结合，并且是在邻近设置下...
小批量随机梯度下降（Mini-batch Stochastic Gradient Descent，Mini-batch SGD）。
05-22
小批量随机梯度下降（Mini-batch SGD）是一种梯度下降法的变体，它是一种介于批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）之间的方法。Mini-batch SGD 取样一小部分训练集...
机器学习-随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient
08-03
**机器学习中的优化算法：随机梯度下降（Stochastic Gradient Descent, SGD）与批量梯度...在现代深度学习实践中，经常使用小批量梯度下降（Mini-Batch Gradient Descent），这是一种折衷方案，兼顾了速度和稳定性。
深度学习之收敛问题
李谦的博客
08-29 2969
原答案地址：https://www.zhihu.com/question/33505655 不过答案目前已经被删除了，所以没有图… 本文文字摘自：https://blog.csdn.net/xlbryant/article/details/48470987 1.数据库太小一般不会带来不收敛的问题，只要你一直在train总会收敛（rp问题跑飞了不算）。反而不收敛一般是由于样本的信息量太大...
梯度下降算法（GD）—收敛速率证明
weixin_39450145的博客
02-10 1607
梯度下降(Gradient Descent)算法—收敛速率证明 1.需证明公式： 2.证明过程：
三种梯度下降法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）
Stephen
03-18 5938
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降(stochastic gradient descent)、批量梯度下降(Batch gradient descent)和mini-batch梯度下降(Mini-batch gradient descent)是两种迭代求解思路，下面从公式和实现的角度对三者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，the...
Batch Gradient Descent、Stochastic Gradient Descent、Mini-batch Gradient Descent
JUST CODE IT
07-11 243
梯度下降（Gradient Descent）又称最速下降，是迭代法的一种，可以用于求解最小二乘法(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。 在这里简单说一下三种梯度下降 Batch Gradient ...
梯度下降算法收敛性
kaka19880812的专栏
07-24 2429
玩一玩小批量随机梯度下降（Mini Batch SGD）
weixin_49613620的博客
12-22 979
随机梯度下降 mini batch 代码示例
【机器学习】【线性回归】梯度下降的三种方式(BGD+SGD+MSGD)以及三种调优方法(加快收敛速度)
热门推荐
蔚蓝的天空Tom
03-14 1万+
1.梯度下降算法梯度下降算法的核心思路和公式推导，可以详见前面的文章：梯度下降算法的核心思路和公式推导如果代价函数是凸函数，用梯度下降算法一定可以求得最优解。2.梯度下降的三种方式在ML中，梯度下降有三种方式：1）批量梯度下降(Batch Gradient  Descent，BGD)2）随机梯度下降(Stochastic Gradient Descent，SGD)3）小批量梯度下降(Mini-Ba...
梯度下降（Gradient Descent）的收敛性分析
Paper weekly
03-10 5156
©作者 | 黄秋实单位 | 香港中文大学（深圳）研究方向 | 智能电网梯度下降是一种简单且常用的优化方法，它可以被用来求解很多可导的凸优化问题（如逻辑回归，线性回归等）。同时，梯度下降在非...
浅谈深度学习归一化加快模型收敛速度
01世界的博客
12-20 4693
在训练模型时，我们经常会对数据进行归一化，甚至在隐藏层中也加入归一化。这样做的主要目的是为了加快模型收敛速度。 假设特征在经过卷积层后没有经过归一化的数据如下图分布（xx表示数据点），用sigmoid函数作为激活函数。那么在不经过归一化的时候数据所在的分布会使sigmoid的函数值接近0，这样会导致出现梯度消失的情况。 假设在对经过卷积层的数据进行归一化后，数据分布如下图所示，分布会处在中间状态，sigmoid的函数值会取到比较大的值（相对于0）。这样便会加快模型的收敛速度。 但是，我们一般并不是简单的
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值