牛顿法介绍

牛顿法也是一类求解极值的方法，多用于有限元的求解，由于要求函数二阶可导（海森矩阵），且海森矩阵逆矩阵不一定存在，因此在机器学习领域应用较少。

牛顿法同样是得到自变量的更新方法，从而得到极值。

推导过程如下：

同样用到泰勒公式展开：

对函数两边对x求导数并忽略高阶项的影响：

 因为f(x)求得极值的条件是f’(x) = 0

因此有：

进而得到：

注意以上为x0为一维的情况，当x0为向量时，公式如下：

 

式中H为海森矩阵，g为梯度

可以看见这个公式与梯度下降法比较接近，只是梯度下降法中海森矩阵的逆矩阵H-1被替换为了学习率η