Mini-batch\Batch\Stochastic梯度下降法 [Andrew Ng 深度学习笔记]

最新推荐文章于 2021-06-15 21:04:53 发布
最新推荐文章于 2021-06-15 21:04:53 发布
阅读量443 收藏 1
点赞数 1
分类专栏： Andrew Ng 深度学习笔记 人工智能 理论分析 文章标签： 批梯度下降法 随机梯度下降法 Mini-Batch梯度下降法 深度学习 Andrew Ng
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Originum/article/details/90304731
版权

假设神经网络的成本函数为

Cost\, \, function=\frac{1}{m}\sum_{i= 1}^{m}L(\hat{y}^{(i)}, y^{(i)})

其中 m 为训练样本的数目，全局的成本函数是对所有样本的成本函数求平均值

若样本数量很大，设为 M，现在考虑两种极端情况，再引出二者结合的“中庸”方法

先给出一幅图，这是吴恩达老师课件上的，分别表示三种方法的梯度下降情况

批量梯度下降（Batch Gradient Descent）

若每一次迭代都遍历整个训练集，也就是 m == M，这样迭代的“准确性”最大，对应于上图蓝色那条，每次梯度下降的方向都很好

在计算过程中，向量化把 m 个样本的向量合并成了矩阵。由于 m 值很大，这些矩阵会变得十分庞大，造成计算耗时，慢的缺点

随机梯度下降（Stochastic Gradient Descent）

若 m == 1，也就是每次迭代都只针对一个样本，这样就变成了随机梯度下降。显而易见的是，这样计算速度会变得很快

缺点也很明显，准确性很不好，就如上图紫色那条：大部分情况是向着最小值前进的，但有时某个样本会指向错误的方向，可能向反方向移动，噪声很大

随机梯度下降永远不会收敛，最终会在最小值附近徘徊

小批量梯度下降（Mini-Batch Gradient Descent, MBGD）

把上述两者结合一下，m 取中间值，是Mini-Batch梯度下降法。就是上图中绿色那条，优缺点方面就像前两者融合

把数量为 M 的样本集合分段，迭代的时候依次对每段进行计算（此时 m 就等于段的大小），每段都轮流用过之后，再从第一段开始一个新的循环。

与批梯度下降的比较：

对于批梯度下降法，成本函数每次都在减小，是单调的。这个可以理解，因为每次迭代都针对的是同样的样本集

对于Mini-Batch梯度下降法，出现摆动不再单调，存在噪声。这是因为相邻的迭代是针对不同的样本集（Mini-Batch）

但是成本函数总的趋势还是减小的

Mini-Batch大小的选取

当样本数 M <= 2000时，直接用批梯度下降法就可以

M > 2000时，就可以分成许多Mini-Batch了，大小一般取：64、128、256、512，都是2的次方，这是由于考虑到了电脑内存设置和使用的方式

 

这是目前阶段的理解，日后发现错误或新的感悟再订正

Originum
关注
专栏目录
神经网络里的mini-batch算法.zip
12-18
在神经网络的学习过程中，批量梯度下降（Batch Gradient Descent, BGD）是最基础的优化算法之一，然而在处理大规模数据集时，由于其需要一次性处理整个数据集，计算量和内存需求大，效率较低。为了解决这个问题，...
梯度下降算法总结 (FG,SG,SAG,mini-batch,Momentum等等)
Oscar2018的博客
07-23 1万+
1引言 机器学习是指通过计算机学习数据中的内在规律性信息，获得新的经验和知识，以提高计算机的智能性，使计算机能够像人那样去决策[1]。通常我们在学习一个模型时首先要收集大量关于这个问题的数据，其目标属性作为样本标签是已知的，记为y.其次根据实际问题建立预测模型，预测模型对样本标签的预测为h(x)，显然y与h(x)之间的误差越小越好，这个误差被称为损失函数。因此，机器学习中的许多问题都可以归结为：...
几种梯度下降方法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）
天泽28的专栏
05-09 3万+
几种梯度下降方法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent） &amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;我们在训练神经网络模型时，最常用的就是梯度下降，这篇博客主要介绍下几种梯度下降的变种（mini-ba
深度学习中的三种梯度下降方式：批量（batch），随机（stochastic），小批量（mini-batch）
xiaotao_1的博客
07-13 1万+
　　1，批量梯度下降法（Batch Gradient Descent） ：在更新参数时都使用所有的样本来进行更新。 　　优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。 　　缺点：当样本数目很多时，训练过程会很慢。 　　2，随机梯度下降法（Stochastic Gradient Descent）：在更新参数时都使用一个样本来进行更新。每一次跟新参数都用一个样本，更新很...
批量batch，随机stochastic，小批量mini-batch对比
qq_43703185的博客
07-26 491
批量梯度下降法（Batch Gradient Descent） 在每次更新参数时都会将全部数据集计算一遍。 　　优点：全局最优解，能保证每一次更新权值，都能降低损失函数；易于并行实现。 　　缺点：当样本数目很多时，训练过程会很慢，计算量开销大，不支持在线学习。 随机梯度下降法（Stochastic Gradient Descent） 每计算一个样本就更新一次参数。如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将参数迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到.
Coursera | Andrew Ng (02-week-2-2.2)—理解 mini-batch 梯度下降法
Self Improvement Lab
01-18 1261
该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂 转载请注明作者
机器学习算法基础-批量随机梯度下降法回归法
最新发布
09-05
在处理大规模数据时，批量随机梯度下降法与在线学习（Online Learning）和迷你批量梯度下降法（Mini-Batch Gradient Descent）一起，构成了深度学习模型训练的重要优化策略。在线学习每次只使用一个样本，而迷你批量...
梯度下降法的优化方法-梯度下降法
08-27
梯度下降法是机器学习和深度学习中常用的优化算法，用于寻找损失函数的最小值。主要分为批量梯度下降（Batch Gradient Descent, BGD）、随机梯度下降（Stochastic Gradient Descent, SGD）和小批量梯度下降（Mini-...
机器学习-随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient
08-03
**机器学习中的优化算法：随机梯度下降（Stochastic Gradient Descent, SGD）与批量梯度...在现代深度学习实践中，经常使用小批量梯度下降（Mini-Batch Gradient Descent），这是一种折衷方案，兼顾了速度和稳定性。
谈谈深度学习中的 Batch_Size
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
深度学习笔记(2)：2.1|2.2 mini-batch梯度下降法及其理解
kkkkkiko的博客
07-27 6109
2.1   mini-batch梯度下降法 第二章我们开始学习优化算法，以便于更快地训练神经网络。首先介绍mini-batch梯度下降法，如下图所示： 相比于mini-batch梯度下降法，我们大家更熟悉的应该是batch梯度下降法，即梯度下降法。那batch梯度下降法和mini-batch梯度下降法有什么区别吗？其实他俩的区别就存在于名字中，一个是batch，即进行梯度下降训练时，使用全...
【深度学习】线性回归（二）小批量随机梯度下降及其python实现
qq_28869927的博客
12-11 3511
文章目录概述小批量随机梯度下降解析解和数值解小批量随机梯度下降python实现需要的先验知识代码和实验 概述 本文在我的前一篇博客（【深度学习】线性回归（一）原理及python从0开始实现）的基础上，介绍一下深度学习中的小批量随机梯度下降方法（mini-batch stochastic gradient descent），将其应用在线性回归中。在不使用深度学习框架的前提下，使用Python进行了实...
Batch\Stochastic\Mini-Batch 梯度下降法
weixin_42388833的博客
06-15 252
梯度下降法存在一些变体， 本文讨论三种，即vanilla(batch)，stochastic 和 mini-batch。不同之处在于，我们使用多少数据来计算目标函数的梯度。 1. 批量梯度下降法（Vanilla\Batch Gradient Descent) Vanilla指的是某一事物标准，通常或者未修改的版本。所以批量梯度下降法就是基本的梯度下降法，即在整个数据集上对每个参数求目标函数的偏导数。 优点： 当目标函数为凸函数，批量梯度下降法必然会在全局最小值处收敛（否则可能会在局部极小值处收敛） 缺点：
神经网络梯度下降的三种学习方式
derek881122的博客
04-05 189
# Batch gradient descent(批量梯度下降) for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad # Stoch...
机器学习笔记~三种梯度下降算法的优劣
zlibo丶的博客
09-26 6254
常用的梯度下降算法一般是Batch Gradient Descent，Mini-batch Gradient Descent和Stochastic Gradient Descent。 1. Batch Gradient Descent 1）优点： 在训练过程中，使用固定的学习率，不必担心学习率衰退现象的出现。 具有一条直接到最小值的轨迹线，并且当目标函数为凸函数时，理论上保证收敛到全局最小...
随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
热门推荐
玉心sober
05-25 19万+
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。
[初学者入门]任何机器学习套路？逻辑回归是什么？要有哪些未知参数待求解？如何优化？梯度下降是什么？如何用梯度下降
@司南牧|知乎|博客|易懂教程|李韬
05-23 489
逻辑回归是什么？要有哪些未知参数待求解？如何优化？梯度下降是什么？如何用梯度下降求逻辑回归未知参数？ 作者：知乎@Ai酱 本文要解决的是标题上的那些问题。 1. 任何机器学习套路 任何机器学习套路都逃不掉：使用一个数学模型来套到数据上->任何数学模型都有待设定的参数，不同数据适合不同参数值->怎么评价这些参数设定值好不好（设计误差函数）->用梯度下降或者其他方法求解误差函数最小值...
深度学习—加快梯度下降收敛速度（一）：mini-batch、Stochastic gradient descent
hdg34jk的专栏
12-21 1万+
在深层神经网络那篇博客中讲了，深层神经网络的局部最优解问题，深层神经网络中存在局部极小点的可能性比较小，大部分是鞍点。因为鞍面上的梯度接近于0，在鞍面上行走是非常缓慢的。因此，必须想办法加速收敛速度，使其更快找到全局最优解。本文将介绍mini-batch与Stochastic gradient descent方法。1.mini-batch之前的梯度下降法是将训练集所有的梯度计算之后，再更新参数，这样
批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
cs24k1993的博客
01-21 2万+
一、梯度下降法 　　在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。 　　梯度下降法有很多优点，其中，在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，这使得梯度下降法能在很多
小批量随机梯度下降（Mini-batch Stochastic Gradient Descent，Mini-batch SGD）。
05-22
小批量随机梯度下降（Mini-batch SGD）是一种梯度下降法的变体，它是一种介于批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gradient Descent）之间的方法。Mini-batch SGD 取样一小部分训练集数据来计算梯度并更新模型参数，这个小部分被称为 mini-batch。 相比于批量梯度下降，Mini-batch SGD 可以更快地更新模型参数，因为它每次只考虑一小部分数据。而相比于随机梯度下降，Mini-batch SGD 可以更稳定地更新模型参数，因为它计算的是一小部分数据的平均梯度，而不是单个数据的梯度。 通常，在实践中，Mini-batch SGD 的 mini-batch 大小通常在几十到几百之间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值