为什么牛顿法下降的速度比梯度下降的快

最新推荐文章于 2020-11-11 16:58:49 发布
最新推荐文章于 2020-11-11 16:58:49 发布
阅读量1.6k 收藏
点赞数 1
分类专栏： 算法 问题解决 机器学习 NLP
问题解决 同时被 3 个专栏收录
63 篇文章 0 订阅
订阅专栏
算法
24 篇文章 0 订阅
订阅专栏
NLP
24 篇文章 0 订阅
订阅专栏

梯度法是从初值开始按照负梯度方向一步一步走,确定方向、确定步长、再确定方向、再确定步长.只顾眼前情况,大局观念差~牛顿法是令目标函数梯度等于零,直接解方程,求方向,目的就是一步就跨到最优解,只不过由于求解是近似的,导致这一步走得不太准,还需要在迭代,但是已经能说明目标观念很强了~


http://zuoye.baidu.com/question/5e1c59091fb9dc8e8264f60cdf1e49d1.html


j-o-l-i-n
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
牛顿法、梯度下降法原理及Python编程应用
12-21
牛顿法、梯度下降法原理及Python编程应用 一、项目概述 无论是在学习还是工作中，我们都会遇到很多最优化问题。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到...
牛顿法的收敛速度为何比梯度下降法快？
gaoxueyi551的专栏
11-08 2498
原文链接： 牛顿法 从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长...
为什么通常牛顿法比梯度下降法能更快的收敛
pi9nc的专栏
09-23 3781
为什么通常牛顿法比梯度下降法能更快的收敛 分类： 机器学习与数据挖掘2013-09-22 10:56 126人阅读 评论(1) 收藏 举报 优化 问题：为什么通常牛顿法比梯度下降法能更快的收敛？ 解答：牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的
比较 牛顿法与梯度下降法
weixin_44467105的博客
03-18 732
这里主要是对比两者不同，和优缺点，具体的两者的推导过程可以参考https://blog.csdn.net/weixin_44467105/article/details/104841966 一.对于一阶导和二阶导的理解。 网上大部分都是说由于牛顿法用了二阶导，而梯度下降算法用了一阶导，所以牛顿法更快，基本都没说具体原因，这里我结合下自己对于数学的理解，谈谈对于这个点的理解，如果不对，希望也能有人指...
牛顿法与梯度下降法
behboyhiex的博客
06-25 1312
牛顿法与梯度下降法1、从收敛速度梯度下降法属于一阶收敛，牛顿法属于二阶收敛，牛顿法收敛速度更快。梯度下降只考虑方向，牛顿法不仅考虑方向，还兼顾步子的大小2、从几何上梯度下降用一个平面拟合当前局部曲面牛顿法用一个二次曲面拟合当前局部曲面牛顿法选择的路径更符合真实路径牛顿法优缺点1、优点：二阶收敛，收敛速度快2、缺点：牛顿法是一种迭代算法，需要计算Hessian矩阵的逆矩阵，计算复杂...
牛顿下降法和梯度下降法(最速下降法)的速度的比较
njucp的博客
01-09 1万+
“牛顿下降法和梯度下降法在机器学习和自适应滤波中的都很重要，本质上是为了寻找极值点的位置。但是收敛的速度不同。 本文中就两种方法来探究一下，哪种收敛方法速度快“牛顿下降法的递推公式： xn+1=xn−f′(xn)/f″(xn){x}_{n+1}={x}_{n}-f'({x}_{n})/f''({x}_{n})梯度下降算法的递推公式： xn+1=xn−μ∗f′(xn){x}_{n+1}={x}_{
python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例
09-17
主要介绍了python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
最速下降法牛顿法（阻尼）共轭梯度法以及拟牛顿法.rar
04-04
main为主函数 fun gfun ggfun分别为输入的...分别为最速下降法 牛顿法（阻尼）共轭梯度法 以及 拟牛顿法 F1-4为下降的图示 可以看到牛顿法和拟牛顿法收敛速度最快 但是牛顿法需要求矩阵的逆 在实际中 运算量可能较大
myGlobalisedNewton.zip_matlab_全局牛顿法_梯度下降_梯度下降法_牛顿法
07-15
结合了梯度下降法和牛顿法，实现了全局收敛
拟牛顿法和随机梯度下降.zip
08-25
拟牛顿法和随机梯度下降.zip
牛顿法和梯度下降法的效率对比
zrh_CSDN的博客
07-04 1138
从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下...
机器学习中梯度下降法和牛顿法的比较
njustzj001的专栏
08-10 2万+
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。梯度下降法梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为：可以看出，梯度下降法更新参数
梯度下降法与经典牛顿下降法
所有的今天都是为了不后悔的明天
05-07 5229
梯度下降算法 以函数为例， （1）求梯度； （2）向梯度相反方向移动x, ,其中，r为步长，如果步长足够小，则可以保证每一次迭代都在减少，但可能导致太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛； （3）循环迭代步骤（2），直到x的变化到使得f(x)在两次迭代之间的差值足够小，比如0.00000001，即直到两次迭代计算出来的f(x)基本没有变化，则说明此时f(x)已经达到
最速下降法，高斯牛顿以及LM算法的区别与联系
Du_Shuang的博客
11-11 2140
转载于：https://www.cnblogs.com/Jessica-jie/p/7739775.html 高斯牛顿法详细叙述参考：https://www.cnblogs.com/Jessica-jie/p/7739775.html [3]计算---非线性优化  可以使用各种优化算法来进行计算，BA现在基本都是利用LM（Levenberg-Marquardt）算法并在此基础上利用BA模型的稀疏性质来进行计算的， LM算法是最速下降法（梯度下降法）和Gauss-Newton的结合体。 （1）最速下
最优化算法：梯度下降与L_BFGS
karida_诺晴
04-03 3371
1. 最速梯度下降      http://en.wikipedia.org/wiki/Gradient_descent 2. 共轭梯度下降     http://en.wikipedia.org/wiki/Conjugate_gradient_method     含有详细推导：http://class.htu.cn/nla/ 3. 随机梯度下降     http://en.wiki
梯度下降、牛顿法、高斯牛顿&L-M算法比较
OORRANNGGE的博客
05-30 8491
本文梳理一下常见的几种优化算法：梯度下降法，牛顿法、高斯-牛顿法和L-M算法，优化算法根据阶次可以分为一阶方法（梯度下降法），和二阶方法（牛顿法等等），不同优化算法的收敛速度，鲁棒性都有所不同。一般来讲，二阶方法要比一阶方法有更快的收敛速度。 梯度下降法 梯度下降法是一种简洁直观的寻找极小值的迭代算法，它总是沿着负梯度方向进行搜索，直到梯度为0才收敛。它的迭代公式为： xk+1=xk−αf′(xk...
深度学习之（十一）Deep learning中的优化方法：随机梯度下降、受限的BFGS、共轭梯度法
qwj的博客
06-22 1万+
Deep learning中的优化方法 　　三种常见优化算法：SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）。      1.SGD（随机梯度下降）        随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模问题。 　　
最速下降法与牛顿法的收敛速率
热门推荐
dymodi的专栏
06-06 2万+
在MIT的公开课[Introduction to Computer Science and Programming Using Python] 6.00.1x 中，Eric Grimson曾提到过迭代算法的思想就在于将当前迭代点向正确的方向移动一定的“步长”，然后检验目标值是否满足一定要求。同时，“方向”和“步长”也是不同优化算法主要关心的两个方面。除此之外，我们还关心不同优化算法的收敛速率（rat
梯度下降法、牛顿法、高斯牛顿法
最新发布
09-29
相比于梯度下降法，牛顿法更容易收敛（迭代更少次数），但是需要计算海森矩阵，而且在高维情况下计算海森矩阵的复杂性很高。 高斯牛顿法是牛顿法的一种变种，它主要用于非线性最小二乘问题的求解。高斯牛顿法通过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值