【深度学习】梯度下降优化算法总结

最新推荐文章于 2024-05-28 07:45:00 发布
最新推荐文章于 2024-05-28 07:45:00 发布
阅读量319 收藏
点赞数
文章标签： 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_27643275/article/details/81946959
版权

    梯度下降算法 

优点

缺点

    BGD（batch）

1、相对噪声低

2、凸函数可以收敛到全局小值
  1. 每更新一次参数都要遍历所有样本，计算量开销大，计算速度慢
  2. 对于非凸函数收敛到局部最小值

      SGD

1、收敛速度快

2、有机会跳出局部最小值

 

1.失去所有向量化带来的加速（无法利用矩阵操作加速计算过程）

2.噪声大

3.永远不会收敛，一直在最小值附近波动

 

  Mini-batch SGD

（一般提到的SGD是Mini-batch SGD）
  1. BGD和SGD的折中
  2. Batch_size比较小时，可能跳出局部最小值

 

不能收敛到最小值，在最小值附近波动

 

 

Momentum

 

收敛速度非常快

参数采用相同的学习率，对于稀疏数据不友好

Adagrad

 

为不同的参数设置不同的学习率，易于处理稀疏数据

 

学习率不断较小最终达到一个非常小的值，模型学习速度很慢

RMSprop

 

  1. 解决了Adagrad学习率消失的问题
  2. 善于处理非平稳目标

 

相对于Adagrad收敛速度慢

Adam

 

1、结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点 
2、对内存需求较小  
3、也适用于大多非凸优化 ，适用于大数据集和高维空间 

 

 可能不收敛或者收敛到局部最小值

 

1.SGD + Momentum

被大量用在CNN 、NLP 问题上

2.Adam + SGD

Adam加速收敛过程，可能陷入到局部最小值或无法收敛，此时用小学习率 SGD 帮助 adam 跳出局部最小值。

 

1273545169
关注
【梯度下降法】详解优化算法之梯度下降法（原理、实现）
程序星空实验室
06-15 5万+
梯度下降法（Gradient descent，简称GD）是一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。梯度下降法是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法和最小二乘法是最常采用的方法。在求解损失函数的最小值时，可以通过梯度下降法来迭代求解，
动手学深度学习之从批量归一化和残差网络、凸优化、梯度下降
01-06
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/6X2EcSYKYpTDlzAKwQhNi 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础知识的介绍，因此很适合本人这种基础较差的同学学习，建议基础较差的同学可以关注伯禹的其他课程： 数学基础：https://www.boyuai.com/elites/course/D91JM0bv
深度学习领域常用optimizer总结-梯度下降算法优化
gaobing1993的博客
08-17 332
该文档描述了深度学习中常用的优化器算法，优化算法都是基于GD(梯度下降法)的各种改进。总共分为两种，一种是想方设法优化G梯度，另外一种是绞尽脑汁优化学习率。更有牛逼的直接不需要预先指定学习率。简单不、心动不
深度学习之（四）：梯度下降算法综述
Nicola.Zhang
04-26 189
梯度下降综述(译文)： https://blog.csdn.net/google19890102/article/details/69942970 原文： http://ruder.io/optimizing-gradient-descent/
深度学习笔记（二）：各种梯度下降优化算法总结
wangc1994的博客
10-08 803
1. 批量梯度下降 (Batch Gradient Descent) 定义代价函数为所有样本的代价 J(θ)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2J(θ)=2m1​i=1∑m​(hθ​(x(i))−y(i))2 θj=θj−α⋅∇θjJ(θ)　　(for　j...
凸优化－梯度下降
11-15 1513
29 September 2015 1. 梯度下降算法 在机器学习篇章的开始机器学习－梯度下降算法，我对梯度下降算法的推导证明以及应用都做了详细介绍，这里就不在做过多推导，直接给出梯度下降的计算公式： 对于梯度下降，其基本释义为如果对函数在点做泰勒二阶展开，会得到如下公式： 如果我们采用代替，那么函数就会变成关于的二次函数，为： ＝ 该函数明显是以为自变量通过点的二次函
pytorch深度学习梯度下降算法
03-19
在机器学习与深度学习领域，梯度下降算法是一种非常基础且重要的优化方法，用于求解模型参数以达到最小化损失函数的目的。PyTorch作为一种强大的深度学习框架，提供了丰富的工具支持梯度下降算法的实现。 #### 二、...
深度学习梯度下降算法（背景、原理、各种算法介绍）
01-25
总结来说，梯度下降是深度学习中的基石，不仅用于求解最小化问题，也扩展到了最大值的寻找。其各种变体和优化策略极大地推动了深度学习模型的训练效率和性能。理解并熟练掌握梯度下降算法，对于深度学习实践者来说至...
梯度下降的优化算法概览.pdf
06-28
本文档我学习梯度下降优化算法的总结，开头是深度学习的基本介绍，了解为什么要用梯度下降算法，以及传统的梯度下降算法的弊端，后面的主要章节是从momentum和adaptive两方面，进行梯度下降优化算法的展开，有详细的...
梯度下降优化算法综述
04-19
梯度下降是一种广泛应用于机器学习和深度学习的优化算法，其主要目的是为了找到目标函数的极小值点。梯度下降算法通过迭代的方式更新模型参数，使得目标函数值不断下降，直至收敛。在介绍梯度下降算法的不同变种之前...
2017年深度学习--梯度下降 优化算法研究
yeler082的博客
12-05 553
原文链接 【导读】梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很难得到它们优缺点的实际解释。Sebastian Ruder曾在去年发表博文 《梯度下降优化算法综述》（An overview of gradien
【凸优化】Gradient Descent and Newton Descent【梯度下降法和牛顿下降法】（含Python代码绘制等高线图）
Shen Mu Xin's Blog
01-08 1071
首先介绍什么是下降法【Descent Methods】，下降法就是求解无约束优化问题的一种基本方法。，经过迭代（如果没有达到迭代终止条件，则迭代完指定次数），经过这样迭代的搜索最终寻找到最终值。梯度下降法【Gradient Descent】绘制的等高线图如下所示。接下来，介绍什么是梯度下降法【Gradient Descent】牛顿下降法【Newton Descent】绘制的等高线图如下所示。牛顿下降法也是在下降法的基础上进行了更改，将下降的方向更改为。梯度下降法只是在下降法的基础上，将下降的方向。
梯度下降算法（Gradient descent）
whosemario的专栏
05-09 1万+
梯度下降算法是一种求局部最优解的方法，在wikipedia上对它做了详细的说明，这里我只是把自己感兴趣的一些地方总结一下： 对于F(x)，在a点的梯度是F(x)增长最快的方向，那么它的相反方向则是该点下降最快的方向，我们有如下结论： 其中，v是一个大于0的数，于是我们有F(b)>=F(a)，那么当我们不断地迭代下去，最终结果将收敛于一个局部最小值。 我们举一个简单的例子： 利用梯度
凸优化（Quasi convex optimization）与梯度下降（Grad descent）
a2333333_的博客
05-12 4074
本文介绍了凸优化思想，解释了什么是凸函数等背景知识，解释了凸优化思路；同时对梯度下降法进行了详细的介绍。
优化算法 ❉ 梯度下降（Gradient Descent）
最新发布
weixin_43156294的博客
05-28 914
梯度下降（Gradient Descent）是一种优化算法，用于最小化一个函数，通常在机器学习和人工智能中用于找到函数的局部最小值。这个函数通常是损失函数，它衡量了模型预测值与实际值之间的差异。梯度下降的核心思想是迭代地调整参数，以减少损失函数的值。用于求解无约束优化问题的迭代算法，特别常用于机器学习中的参数估计问题。其基本思想是，通过迭代地调整参数，沿着函数的负梯度方向寻找函数的局部最小值。
梯度下降算法
qq_39691463的博客
09-11 5555
（一）梯度下降的原理： 梯度下降是一个一阶优化算法，又称为最速下降法。梯度下降法是最小化目标函数（假设为J（θ））的一种方法，其中θ为模型的参数，梯度下降法利用目标函数的梯度∇θJ(θ)的反方向来更新参数。学习率α 是指每次更新梯度时所指定的步长，η 的大小直接决定了函数最终会收敛于全局最小值还是局部最小值（待会儿笔者将详细介绍这里的最小值和极小值）。常见的梯度下降有三中形式，他们之间的区别在于计算目标函数梯度时用到多少数据。根据数据数量的不同，我们在参数更新的精度和更新过程的耗时不断权衡。 （二）梯度下降
梯度下降（Gradient descent)算法详解
weixin_60737527的博客
03-26 1万+
梯度下降（Gradient descent)算法详解 说起梯度下降算法，其实并不是很难，它的重要作用就是求函数的极值。梯度下降就是求一个函数的最小值，对应的梯度上升就是求函数最大值。为什么这样说呢？兔兔之后会详细讲解的。 虽然梯度下降与梯度上升都是求函数极值的算法，为什么我们常常提到“梯度下降”而不是梯度上升“呢？主要原因是在大多数模型中，我们往往需要求函数的最小值。比如BP神经网络算法，我们得出损失函数，当然是希望损失函数越小越好，这个时候肯定是需要梯度下降算法的。梯度下降算法作为很多算法的一个关键环节，
梯度下降算法(Gradient descent)
热门推荐
醉蕤的博客
06-15 2万+
人工智能基础算法 梯度下降算法Gradient descent
深度解析梯度下降优化算法：理论与实践
本文是一篇深入探讨梯度下降优化算法的综述文章，作者Sebastian Ruder旨在帮助读者理解这种广泛应用于机器学习和深度学习中的基础优化技术。随着深度学习的兴起，尽管梯度下降方法应用越来越普遍，但由于其复杂性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值