深度学习基础9（优化算法，梯度下降，小批量随机梯度下降，超参数）

已于 2024-03-14 11:03:34 修改
阅读量852 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： python 深度学习 神经网络
于 2022-03-26 16:06:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lj_FLR/article/details/123757747
版权
这篇博客介绍了深度学习的基础优化方法，主要讲解了梯度下降和小批量随机梯度下降。梯度下降是通过沿着反梯度方向更新参数来寻找最优解，而小批量随机梯度下降是深度学习中常用的优化算法，它在计算效率和资源利用之间取得平衡。学习率作为关键的超参数，需要适中选择，避免震荡或缓慢收敛。
摘要由CSDN通过智能技术生成

基础优化方法

DQ`DEUSV1QYM_(~%TIBW_$0

这个图可以直观的看出寻找最优解的路线

梯度下降

77UHEMXD7`%87OCUF}2{GPK

有显示解的模型都非常简单，但我们以后几乎解决的问题都是没有显示解的

当一个模型没有显示解的时候怎么办呢？

下面来讲一下梯度下降：

  • 梯度下降通过不断沿着反梯度方向更新参数求解

  • 挑选一个参数的随机初始值w0

  • 重复迭代参数t=1,2,3（在接下来的时刻里不断更新w0，来接近我们的最优解）

    KOY)K5CVH(SGW0{`I@98HO

    （上图为更新法则，意思是：上一个时刻 减去 学习率（标量）*损失函数关于t-1时刻的梯度）

  • 沿梯度方向将增加损失函数值

  • 学习率：步长的超参数

那么选择学习率不能太小也不能太大：

最低0.47元/天 解锁文章
NDNPOMDFLR
关注
专栏目录
梯度下降算法原理及其在深度学习中的应用
AI天才研究院
04-07 867
机器学习和深度学习是当今计算机科学和人工智能领域最热门和最活跃的研究方向之一。其中,梯度下降算法作为最基础和最常用的优化算法,在机器学习和深度学习中扮演着至关重要的角色。本文将深入探讨梯度下降算法的原理和在深度学习中的具体应用。梯度下降算法是一种基于优化理论的迭代算法,其核心思想是沿着损失函数(目标函数)的负梯度方向不断更新参数,直到找到使损失函数最小化的参数值。具体来说,在每一次迭代中,算法计算当前参数下损失函数的梯度,然后以一定的步长沿着梯度的反方向更新参数,直到达到收敛条件。
随机梯度下降与小批量梯度下降算法
10-23
损失使用平方函数，简单的线性模型 y = theta1 + theta2 * x
批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解
weixin_30788239的博客
08-10 264
  梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量梯度下降（Mini-Batch Gradient Descent）。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这三种不同的梯度下降法进行理解。   为了便于理解...
小批量随机梯度下降法
weixin_43755104的博客
11-13 2746
文章目录写在前面小批量随机梯度公式代码参考文献 写在前面 小批量随机梯度下降法（Mini-batch Stochastic Gradient Decent）是对速度和稳定性进行妥协后的产物 小批量随机梯度公式 我们可以看出当b=1时，小批量随机下降法就等价与SGD；当b=N时，小批量就等价于全批量。所以小批量梯度下降法的效果也和b的选择相关，这个数值被称为批量尺寸(batch size)。对于如何选择b，感兴趣的朋友可以在下方进行讨论。 代码 ''' 小批量随机梯度下降法（Mini-batch Sto
优化算法 -小批量随机梯度下降
yingzi的技术博客
09-14 1094
在随机梯度下降的实验中，每当⼀个样本被处理，模型参数都会更新。可以看出，尽管在处理的样本数⽅⾯，随机梯度下降的收敛速度快于梯度下降，但与梯度下降相⽐，它需要更多的时间来达到同样的损失，因为逐个样本来计算梯度并不那么有效。在以前我们已经实现过小批量随机梯度下降算法，我们在这里将它的输入参数变得更加通用，主要是为了方便本章后面介绍的其他优化算法也可以使用同样的输入。显而易见，小批量上的计算基本上与完整矩阵一样有效，需要注意的是，在7.5节中，我们使⽤了⼀种在很⼤程度上取决于⼩批量中的⽅差的正则化。
批量随机梯度下降-学习笔记
争取原创，尽量不CV
02-14 985
小批量随机梯度下降 在每一次迭代中，梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降（batch gradient descent）。而随机梯度下降在每次迭代中只随机采样一个样本来计算梯度。正如我们在前几章中所看到的，我们还可以在每轮迭代中随机均匀采样多个样本来组成一个小批量，然后使用这个小批量来计算梯度。下面就来描述小批量随机梯度下降。 设目标函数f(x):Rd→Rf(\bo...
基于Python实现的随机梯度下降算法.zip
05-11
随机梯度下降（Stochastic Gradient Descent，SGD）是一种常用的优化算法，广泛应用于机器学习和深度学习领域，用于寻找损失函数最小值的过程。在Python中实现SGD可以帮助我们更好地理解算法原理，并灵活应用于实际...
异步随机梯度下降算法.zip
08-25
异步随机梯度下降（Asynchronous Stochastic Gradient Descent, ASGD）是机器学习和神经网络优化中的一个重要算法，尤其在大数据集和分布式计算环境中应用广泛。它在传统的梯度下降法基础上进行了改进，旨在提高训练...
人工智能|深度学习——常用的神经网络优化算法（从梯度下降到 Adam！）
最新发布
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
07-15 1012
优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就形成了损失函数E(x)。比如说，权重(W)和偏差(b)就是这样的内部参数，一般用于计算输出值，在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时，模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法，来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值。
小批量梯度下降算法步骤_随机梯度下降优化算法-----批量梯度下降，随机梯度下降，小批量梯度下降...
weixin_33304375的博客
12-23 473
梯度下降算法是通过沿着目标函数J(θ)参数θ∈R的梯度(一阶导数)相反方向−∇θJ(θ)来不断更新模型参数来到达目标函数的极小值点(收敛)，更新步长为η。有三种梯度下降算法框架，它们不同之处在于每次学习(更新模型参数)使用的样本个数，每次更新使用不同的样本会导致每次学习的准确性和学习时间不同。批量梯度下降(Batch gradient descent)每次使用全量的训练集样本来更新模型参数，即： ...
梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）
qq_25628891的博客
10-21 4589
前言 梯度下降法(Gradient Descent)优化函数的详解（0）线性回归问题 梯度下降法(Gradient Descent)优化函数的详解（1）梯度下降法（Gradient Descent） 梯度下降法(Gradient Descent)优化函数的详解（2）随机梯度下降法（SGD Stochastic Gradient Descent） 梯度下降法(Gradient Descent)优...
玩一玩小批量随机梯度下降（Mini Batch SGD）
weixin_49613620的博客
12-22 1020
随机梯度下降 mini batch 代码示例
动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降
橙子的博客
11-21 975
一、梯度下降算法 挑选一个初始值w0； 重复迭代参数t=1,2,3； 在接下来不断的更新w0，使它接近最优解； 具体来说，法则如下： wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度。 沿梯度方向将增加损失函数值。 η：是指学习率，我沿着这个方向每次走多远。 学习率：步长的超参数，是需要人为指定的一个值。 注意： 选择学习率： 不能太小，如果选的太小，每次的步长有限，每到达一个点都需要走好多步（计算梯度是很贵的，尽量少的计算梯度）；...
批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)
厚积薄发的博客
08-14 3122
Batch 的选择，首先决定的是下降的方向。随机梯度下降是通过每个样本来迭代更新一次，如果样本量很大的情况（例如几十万），那么可能只用其中几万条或者几千条的样本，就已经将theta迭代到最优解了，对比上面的批量梯度下降，迭代一次需要用到十几万训练样本，一次迭代不可能最优，如果迭代10次的话就需要遍历训练样本10次。（2）随机梯度下降—最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近。
机器学习算法之梯度下降法
Mind_programmonkey的博客
05-04 1064
梯度下降法 1.梯度下降法简介 2.简单线性回归中梯度下降法的模拟 3.多元线性回归中的梯度下降法 4.随机梯度下降法 5.波士顿房价预测问题 一、梯度下降法简介 不是一个机器学习算法 是一个基于搜索的最优化方法 作用：最小化损失函数 梯度上升法：最大化一个效用函数 以下是定义了一个损失函数以后，参数theta对应的损失函数J的值对应的示例图，我们需要找到一个使得损失函数值J取得最小值的对...
『NN』神经网络中的优化（一）：梯度下降、随机梯度下降与mini-batch梯度下降
酒狂的博客
05-08 1449
一、梯度下降（Gradient Descent） 二、随机梯度下降（Gradient Descent） 三、Mini-batch梯度下降（Mini-batch Gradient Descent）
梯度下降与超参learning rate,weight decay,momentum
qq_32897939的博客
01-11 386
梯度下降 如何理解随机梯度下降（stochastic gradient descent，SGD）？ - Evan的回答 - 知乎 https://www.zhihu.com/question/264189719/answer/291167114 Learning Rate 学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面3种参数都是基于自适应的思路提出的解决方案，分别为：Weight Decay 权值衰减，Momentu
小批量梯度下降法(Minibatch GD)原理与代码实战案例讲解
AI天才研究院
06-11 583
小批量梯度下降法(Mini-batch GD)原理与代码实战案例讲解 1. 背景介绍 1.1 机器学习中的优化问题 在机器学习中,我们经常需要优化一个目标函数,以便找到最优的模型参数。这个过程通常涉及到
梯度下降与小批量梯度下降：机器学习中的优化方法
"这篇资料主要介绍了基于梯度的学习方法，包括梯度下降、随机梯度下降和小批量随机梯度下降，并讨论了学习率的选择在优化过程中的重要性。" 在机器学习领域，Gradient-Based Learning（基于梯度的学习）是一种核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NDNPOMDFLR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值