性能优化 牛顿法理论推导

关于牛顿法中公式的来源：

参考：牛顿法原理推导

牛顿法一步到位的解释：

目标均为使代价函数最小化

梯度下降的思路：找到代价函数负梯度，走一小步。步子不能太大，否则前面梯度转向就不好了，毕竟又没有算二阶导，这函数的梯度那，就是无法预料。

牛顿法的思路：最小化代价函数，就是求f'(x)=0时的x，每一步都努力让f'(x)=0就好了。怎样做到呢？求出f'(x)的变化方向，即f''(x)，让接下来走的一步正好让f'(x)=0即可。因此构建等式f'(x)+af''(x)=0，求出a即可。接下来让x走a这么长就好。

 

梯度下降摸着石头过河，每一步都只敢走眼前的一小步，生怕走错。牛顿法每一步都目的明确，直截了当，自然快。

作者：知乎用户
链接：https://www.zhihu.com/question/19723347/answer/187619858
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。