牛顿法与梯度下降法的区别

梯度下降法

梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为：

牛顿法

牛顿法是为了求解函数值为零的时候变量的取值问题的，具体地，当要求解 f(θ)=0时，如果 f可导，那么可以通过迭代公式

来迭代求得最小值。

区别

梯度下降的目的是直接求解目标函数极小值，而牛顿法则变相地通过求解目标函数一阶导为零的参数值，进而求得目标函数最小值。牛顿法收敛速度相比梯度下降法很快，缺点就是计算海森矩阵的逆比较困难，消耗时间和计算资源。