牛顿法
牛顿法是一种二阶梯度方法。与一阶梯度算法相比,二阶梯度方法使用了二阶导数进行了优化。
具体解释如下:
- 在函数上随便找个点,做这个点的切线,求出切线的跟(切线和x轴交点)
- 从这个切线的跟出发,做一条垂线与函数相交,继续方才的工作,此时我们发现B比A点更接近跟
- 继续进行上述操作,直到迭代收敛
公式:
f ( x ) = f ( x 0 ) + f ( x 0 ) ′ ( x − x 0 ) + 1 2 f ( x 0 ) ′ ′ ( x − x 0 ) 2 f(x) = f(x_0)+f(x_0)'(x-x_0) + \frac{1}{2}f(x_0)''(x-x_0)^2 f(x)=f(x0)+f(x0)′(x−x0)+21f(x0)