深度学习基础9（优化算法，梯度下降，小批量随机梯度下降，超参数）

已于 2024-03-14 11:03:34 修改
阅读量903 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： python 深度学习 神经网络
于 2022-03-26 16:06:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lj_FLR/article/details/123757747
版权
这篇博客介绍了深度学习的基础优化方法，主要讲解了梯度下降和小批量随机梯度下降。梯度下降是通过沿着反梯度方向更新参数来寻找最优解，而小批量随机梯度下降是深度学习中常用的优化算法，它在计算效率和资源利用之间取得平衡。学习率作为关键的超参数，需要适中选择，避免震荡或缓慢收敛。
摘要由CSDN通过智能技术生成

基础优化方法

DQ`DEUSV1QYM_(~%TIBW_$0

这个图可以直观的看出寻找最优解的路线

梯度下降

77UHEMXD7`%87OCUF}2{GPK

有显示解的模型都非常简单，但我们以后几乎解决的问题都是没有显示解的

当一个模型没有显示解的时候怎么办呢？

下面来讲一下梯度下降：

  • 梯度下降通过不断沿着反梯度方向更新参数求解

  • 挑选一个参数的随机初始值w0

  • 重复迭代参数t=1,2,3（在接下来的时刻里不断更新w0，来接近我们的最优解）

    KOY)K5CVH(SGW0{`I@98HO

    （上图为更新法则，意思是：上一个时刻 减去 学习率（标量）*损失函数关于t-1时刻的梯度）

  • 沿梯度方向将增加损失函数值

  • 学习率：步长的超参数

那么选择学习率不能太小也不能太大：

最低0.47元/天 解锁文章
随机梯度下降与小批量梯度下降算法
10-23
损失使用平方函数，简单的线性模型 y = theta1 + theta2 * x
基于Python实现的随机梯度下降算法.zip
05-11
随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，广泛应用于机器学习和深度学习领域，用于寻找损失函数最小值的过程。在Python中实现SGD可以帮助我们更好地理解算法原理，并灵活应用于实际...
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
weixin_30788239的博客
08-10 294
  梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这三种不同的梯度下降法进行理解。   为了便于理解...
小批量随机梯度下降法
weixin_43755104的博客
11-13 2808
文章目录写在前面小批量随机梯度公式代码参考文献 写在前面 小批量随机梯度下降法（Mini-batch Stochastic Gradient Decent）是对速度和稳定性进行妥协后的产物 小批量随机梯度公式 我们可以看出当b=1时，小批量随机下降法就等价与SGD；当b=N时，小批量就等价于全批量。所以小批量梯度下降法的效果也和b的选择相关，这个数值被称为批量尺寸(batch size)。对于如何选择b，感兴趣的朋友可以在下方进行讨论。 代码 ''' 小批量随机梯度下降法（Mini-batch Sto
【算法学习】优化算法-小批量随机梯度下降mini-batch SGD
lxlyhwl的博客
10-11 1633
深度学习中常见的优化算法mini-batch SGD的学习总结。
优化算法 -小批量随机梯度下降
yingzi的技术博客
09-14 1166
在随机梯度下降的实验中，每当⼀个样本被处理，模型参数都会更新。可以看出，尽管在处理的样本数⽅⾯，随机梯度下降的收敛速度快于梯度下降，但与梯度下降相⽐，它需要更多的时间来达到同样的损失，因为逐个样本来计算梯度并不那么有效。在以前我们已经实现过小批量随机梯度下降算法，我们在这里将它的输入参数变得更加通用，主要是为了方便本章后面介绍的其他优化算法也可以使用同样的输入。显而易见，小批量上的计算基本上与完整矩阵一样有效，需要注意的是，在7.5节中，我们使⽤了⼀种在很⼤程度上取决于⼩批量中的⽅差的正则化。
【人工智能数学基础—微积分】深入详解梯度与梯度下降：掌握梯度下降法及其变种及模型参数的优化
最新发布
martian665的专栏
12-23 3912
【人工智能数学基础—微积分】深入详解梯度与梯度下降：掌握梯度下降法及其变种及模型参数的优化
异步随机梯度下降算法.zip
08-25
异步随机梯度下降（Asynchronous Stochastic Gradient Descent, ASGD）是机器学习和神经网络优化中的一个重要算法，尤其在大数据集和分布式计算环境中应用广泛。它在传统的梯度下降法基础上进行了改进，旨在提高训练...
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1453
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
批量随机梯度下降-学习笔记
争取原创，尽量不CV
02-14 1070
小批量随机梯度下降 在每一次迭代中，梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降（batch gradient descent）。而随机梯度下降在每次迭代中只随机采样一个样本来计算梯度。正如我们在前几章中所看到的，我们还可以在每轮迭代中随机均匀采样多个样本来组成一个小批量，然后使用这个小批量来计算梯度。下面就来描述小批量随机梯度下降。 设目标函数f(x):Rd→Rf(\bo...
小批量梯度下降算法步骤_随机梯度下降优化算法-----批量梯度下降，随机梯度下降，小批量梯度下降...
weixin_33304375的博客
12-23 499
梯度下降算法是通过沿着目标函数J(θ)参数θ∈R的梯度(一阶导数)相反方向−∇θJ(θ)来不断更新模型参数来到达目标函数的极小值点(收敛)，更新步长为η。有三种梯度下降算法框架，它们不同之处在于每次学习(更新模型参数)使用的样本个数，每次更新使用不同的样本会导致每次学习的准确性和学习时间不同。批量梯度下降(Batch gradient descent)每次使用全量的训练集样本来更新模型参数，即： ...
梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）
qq_25628891的博客
10-21 4666
前言 梯度下降法(Gradient Descent)优化函数的详解（0）线性回归问题 梯度下降法(Gradient Descent)优化函数的详解（1）梯度下降法（Gradient Descent） 梯度下降法(Gradient Descent)优化函数的详解（2）随机梯度下降法（SGD Stochastic Gradient Descent） 梯度下降法(Gradient Descent)优...
玩一玩小批量随机梯度下降（Mini Batch SGD）
weixin_49613620的博客
12-22 1326
随机梯度下降 mini batch 代码示例
动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降
橙子的博客
11-21 1013
一、梯度下降算法 挑选一个初始值w0； 重复迭代参数t=1,2,3； 在接下来不断的更新w0，使它接近最优解； 具体来说，法则如下： wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度。 沿梯度方向将增加损失函数值。 η：是指学习率，我沿着这个方向每次走多远。 学习率：步长的超参数，是需要人为指定的一个值。 注意： 选择学习率： 不能太小，如果选的太小，每次的步长有限，每到达一个点都需要走好多步（计算梯度是很贵的，尽量少的计算梯度）；...
批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
厚积薄发的博客
08-14 3752
Batch 的选择，首先决定的是下降的方向。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
深度学习：详解梯度下降、随机梯度下降、小批量随机梯度下降
qq_41298763的博客
10-27 4216
但每次迭代中只使用一个样本计算梯度，因此每次迭代的梯度都是有噪声的，毕竟不是所有样本的均值，所以下降（下山）会走一点弯路，但总体因为总的迭代次数很多，所以随机梯度下降法最终会收敛到最优解 ，还是划得来的。我们可以其看作一个下山的过程：对于梯度下降而已，是找到了最优的下山路径，所有它的曲线比较直，而对于随机梯度下降，它因为随机选一个样本ti来近似f(x)——所有样本的损失平均，所以找的并不是最优的下山路径，但方向是对的，只是要走弯路，因此它下山的曲线比较曲折。随机梯度下降，是指在时间t，
【机器学习】随机梯度下降算法以及优化
weixin_63260646的博客
05-27 1755
全梯度下降算法稳定但计算量大，适用于小数据集；随机梯度下降算法速度快，适用于大数据集但更新不稳定；小批量梯度下降则在这两者间找到了平衡。动量法通过引入动量项加速收敛并减少震荡，而Adam算法则通过自适应调整学习率实现高效计算，是目前广泛应用的优化算法，但其性能对参数选择较为敏感。
机器学习算法之梯度下降法
Mind_programmonkey的博客
05-04 1112
梯度下降法 1.梯度下降法简介 2.简单线性回归中梯度下降法的模拟 3.多元线性回归中的梯度下降法 4.随机梯度下降法 5.波士顿房价预测问题 一、梯度下降法简介 不是一个机器学习算法 是一个基于搜索的最优化方法 作用：最小化损失函数 梯度上升法：最大化一个效用函数 以下是定义了一个损失函数以后，参数theta对应的损失函数J的值对应的示例图，我们需要找到一个使得损失函数值J取得最小值的对...
『NN』神经网络中的优化（一）：梯度下降、随机梯度下降与mini-batch梯度下降
酒狂的博客
05-08 1523
一、梯度下降（Gradient Descent） 二、随机梯度下降（Gradient Descent） 三、Mini-batch梯度下降（Mini-batch Gradient Descent）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NDNPOMDFLR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值