二阶优化算法：牛顿法

牛顿法的基本思想：利用迭代点处的一阶导数（梯度）和二阶导数（Hessian矩阵）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似最小值。

    牛顿法的更新公式，基于二阶泰勒展开：

    然后对上式求导，并令，得到更新公式：

    

    对于神经网络病态条件问题，出现在梯度变化过快的情况时即二阶导数较大，此时通过二阶优化算法如牛顿法，将二阶导数作为分母加入更新参数，使得在梯度变化过快方向相对梯度变化慢的方向更新尺度发生改变，从而解决病态问题。