人工智能-损失函数-优化算法：梯度下降【SGD--＞SGDM(梯度动量)--＞AdaGrad(动态学习率)--＞RMSProp(动态学习率)--＞Adam(动态学习率+梯度动量)】、梯度下降优化技巧

已于 2024-01-29 23:25:52 修改
阅读量1.4k 收藏 8
点赞数
分类专栏： # 深度学习/DL 机器学习/ML 梯度 文章标签： 人工智能 机器学习 深度学习
于 2020-12-16 00:06:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/111243533
版权
本文介绍了深度学习中的梯度下降优化算法，包括批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（MBGD）、SGD带动量（SGDM）、AdaGrad、RMSProp以及Adam算法。讨论了各种算法的优缺点，如SGD的速度优势和可能的噪声问题，以及AdaGrad和RMSProp对学习率的动态调整。此外，还提到了优化技巧如学习率调整和梯度裁剪。
摘要由CSDN通过智能技术生成

人工智能-损失函数：梯度下降算法【SGD--＞SGDM（梯度动量）--＞AdaGrad（动态学习率）--＞RMSProp（动态学习率）--＞Adam（动态学习率+梯度动量）】、梯度下降优化技巧

一、梯度下降算法

  • 优化算法，入门级必从SGD学起，老司机则会告诉你更好的还有AdaGrad/AdaDelta，或者直接无脑用Adam。
  • 深度学习优化算法经历了 SGD -> SGDM -> AdaGrad -> AdaDelta -> RMSProp ->Adam -> Nadam 这样的发展历程。

在这里插入图片描述

1、BGD（Batch Gradient Descent，批量梯度下降法）

每次迭代都需要把所有样本都送入，这样的好处是每次迭代都顾及了全部的样本，目的是全局最优化,但是有可能达到局部最优。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
带动量的随机梯度下降法_梯度下降法(SGD)原理解析及其改进优化算法
weixin_30716611的博客
01-14 2470
梯度下降法原理梯度下降背后的原理(泰勒展开推导)BGD、SGD的工程选择上的tricks(eg. batch_size的设置)SGD相关改进优化算法(Momentum、Adam...)一、梯度下降法原理梯度---在数学上的定义表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。2. 梯度下降法迭代步骤梯度下降的一个直观的...
常见的损失函数，代价函数以及优化算法汇总
蜗牛遥遥
07-17 4782
在机器学习和深度学习中，我们通常会需要掌握三个步骤就可以完成了，拿起数据（特征），搭上模型（目标函数，损失函数，代价函数）,不断优化（优化函数-梯度下降，adam，动量-找到最优的W），就可以完成了 1. 损失函数、代价函数与目标函数 损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。 代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的...
随机梯度下降法_动量梯度下降法(gradient descent with momentum)
weixin_39567870的博客
12-17 717
简介动量梯度下降法是对梯度下降法的改良版本，通常来说优化效果好于梯度下降法。对梯度下降法不熟悉的可以参考梯度下降法，理解梯度下降法是理解动量梯度下降法的前提，除此之外要搞懂动量梯度下降法需要知道原始方法在实际应用中的不足之处，动量梯度下降法怎样改善了原来方法的不足以及其具体的实现算法。依次从以下几个方面进行说明： 小批量梯度下降法(mini-batch gradient descent) ...
人工智能常用的优化算法（梯度下降、牛顿法、拟牛顿法、共轭梯度法、）
最新发布
weixin_66547608的博客
03-13 911
通过使用一些常用的优化算法，进行决策树分析鸾尾花数据的分析的优化，带你了解什么是优化，有具体的代码和图解
人工智能与机器学习-梯度下降法
missbearC的博客
04-04 2578
人工智能与机器学习-梯度下降法 一、梯度下降法概述 梯度下降法（Gradient descent）是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 二、梯度下降法直观理解 以人下山为例，要到达最低点，需要以下步骤： 第一步，明确自己现在所处的位置 第二步，找到相对于该位置而言下降最快的方向 第三步，...
A.深度学习基础入门篇[三]：优化策略梯度下降算法：SGD、MBGD、Momentum、Adam、AdamW
丨汀、的博客
04-05 3120
如果我们定义了一个机器学习模型，比如一个三层的神经网络，那么就需要使得这个模型能够尽可能拟合所提供的训练数据。但是我们如何评价模型对于数据的拟合是否足够呢？，当损失函数值下降，我们就认为模型在拟合的路上又前进了一步。最终模型对训练数据集拟合的最好的情况是在损失函数值最小的时候，在指定数据集上时，为损失函数的平均值最小的时候。
深度学习优化算法详解：SGD到AdamW的统一框架与实战代码
这些算法的发展历程可以概括为：SGD -> SGDM (带有动量的SGD) -> Nesterov加速梯度 (NAG) -> AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW。 SGD是最基础的优化器，它仅考虑当前样本的梯度。随后的算法引入了...
深度学习基础（四）优化函数(梯度下降函数)
u010554381的博客
03-08 2950
梯度下降函数也就是优化函数，在神经网络训练过程最重要的函数。重要程度类似于调校对于汽车的重要性，搭建模型和参数设置等操作=“造好了一辆汽车”，优化函数=“调校”。因为汽车最终的操控性和加速性能等指标很大程度取决于调校，调校的好的汽车操控性非常好，而调校不好的汽车开起来很难受。而优化函数也是一样，很多情况下学习模型是正确的，但是最终训练结果不如人意，往往是因为优化函数的选择错误。 目录 一、优化...
（tensorflow笔记）神经网络中的一些关键概念（学习率、激活函数、损失函数、欠拟合和过拟合、正则化和优化器）
m0_46177963的博客
11-05 3118
目录标题1.神经网络复杂度空间复杂度时间复杂度2.学习率策略指数衰减学习率分段常数衰减3.激活函数sigmoidtanhReLULeaky ReLU建议损失函数欠拟合与过拟合正则化减少过拟合优化器更新网络参数 1.神经网络复杂度 神经网络的复杂度，多用神经网络的层数和神经网络中待优化参数的个数表示。以下图为例说明 空间复杂度 神经网络的层数=隐藏层的层数+1个输出层 统计神经网络的层数时，只统计具有运算能力的层，输入层仅把数据传输过来，没有运算，不算到神经网络的层数中。输入层和输出层之间的所有层都叫做隐藏
梯度下降学习率的优化
whai的专栏
07-27 2436
问题描述令目标函数为f(x)f(x)，当前点为xkx_k，当前搜索方向为dkd_k，我们把学习率α\alpha看做变量，不妨设： h(α)=f(xk+αdk),a>0h(\alpha)=f(x_k+\alpha d_k), a > 0 现在问题变成求h(α)h(\alpha)的最小值，假设h(α)h(\alpha)可导，则有： h′(α)=∂f(xk+αdk)∂(xk+αdk)dkh'(\al
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。
【放假第2天】人工智能-梯度下降法
qq_40647378的博客
12-16 329
基础知识参考：https://www.cnblogs.com/huangyc/p/9801261.html 公式：https://blog.csdn.net/xierhacker/article/details/53261008 归一化：https://www.cnblogs.com/bonelee/p/7124695.html 每一步的θ达到了最优解，下面最低点，那么全局就达到了最优解 我写的主...
ML-0101-梯度下降小结
Levine Huang
10-25 1049
基本概念 梯度 梯度下降 梯度下降的相关概念 梯度下降算法 算法过程 梯度下降的各种变体BGDSGDMBGD 批量梯度下降Batch gradient descent 随机梯度下降Stochastic gradient descent 小批量梯度下降Mini-batch gradient descent 梯度下降的算法调优 梯度下降法和其他无约束优化算法的比较 无约束优化算法 无约束优化算法的比较
梯度下降方法的优化改进
pu_pupupupupu的博客
12-25 1057
1,首先SGDM不会被类似于极小点的地方卡住而停止更新.因为SGDM与SGD最大的不同在于v值中包括了过去走过的所有梯度. 如上图,该方法引入了momentum,最终的移动方向由梯度与monentum共同决定.而不单纯由梯度决定,从而使得更新不会停止. 2,本方法的主要作用是动态调整学习率,在过去梯度比较大的地方(说明该部分损失函数变化比较大),这时候就需要减小学习率,而在过去梯度比较小的地方,说明变化比较小,学习率可以放心前进,所以用大的学习率 3, 这个算法与adagram算法的不同之处在于vt不会
深度学习中的随机梯度下降(SGD)简介
热门推荐
网络资源是无限的
03-22 2万+
        随机梯度下降(Stochastic Gradient Descent, SGD)是梯度下降算法的一个扩展。        机器学习中反复出现的一个问题是好的泛化需要大的训练集，但大的训练集的计算代价也更大。机器学习算法中的代价函数通常可以分解成每个样本的代价函数的总和。随着训练集规模增长为数十亿的样本，计算一步梯度也会消耗相当成的时间。        随机梯度下降的核心是：梯度是期...
深度学习笔记（六）——网络优化（2）：参数更新优化器SGD、SGDM、AdaGrad、RMSProp、Adam
拨雪寻春，烧灯续昼
01-14 1647
本文总结了常用的5个参数优化器SGD SGDM AdaGrad RMSProp Adam，并总结归纳了构建网络时需要注意的一些经验
机器学习/算法面试笔记1——损失函数、梯度下降、优化算法、过拟合和欠拟合、正则化与稀疏性、归一化、激活函数
mengmenghy的博客
08-07 2667
面试笔记第一篇，包括7个部分： 1、损失函数；2、梯度下降；3、优化算法；4、过拟合和欠拟合；5、正则化与稀疏性；6、归一化；7、激活函数
优化算法
优化算法
08-25 850
优化算法 转自：https://zhuanlan.zhihu.com/p/32230623 主要框架 待优化参数: www 目标函数: f(x)f(x)f(x) 初始学习率: αα\alpha 而后，开始进行迭代优化。 在每个epoch t： 计算目标函数关于当前参数的梯度： gt=∇f(wt)gt=∇f(w...
SGBM立体算法部分概念
andeyeluguo的博客
06-07 7584
opencv SGBM立体匹配(Stereo Matching)：目标是从不同视点图像中找到匹配的对应点,计算机视觉中的重要又困难的问题深度计算视差视差图拖尾效应亚像素化KITTI代价计算互信息图像的概率分布P是什么意思？答案一句话，图像的灰度直方图图像的灰度值是0~255，每个灰度值对应的像素个数除以图像像素个数就是该灰度值对应的概率，单幅图像的概率密度是一维的，那么自然地，两幅图像的联合概率密...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值