[深度学习] 牛顿法

牛顿法

牛顿法是一种二阶梯度方法。与一阶梯度算法相比,二阶梯度方法使用了二阶导数进行了优化。

具体解释如下:

  1. 在函数上随便找个点,做这个点的切线,求出切线的跟(切线和x轴交点)
    在这里插入图片描述
  2. 从这个切线的跟出发,做一条垂线与函数相交,继续方才的工作,此时我们发现B比A点更接近跟
    在这里插入图片描述
  3. 继续进行上述操作,直到迭代收敛
    在这里插入图片描述

公式:
f ( x ) = f ( x 0 ) + f ( x 0 ) ′ ( x − x 0 ) + 1 2 f ( x 0 ) ′ ′ ( x − x 0 ) 2 f(x) = f(x_0)+f(x_0)'(x-x_0) + \frac{1}{2}f(x_0)''(x-x_0)^2 f(x)=f(x0)+f(x0)(xx0)+21f(x0)

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值