常用优化算法（梯度法和牛顿法）

沿着梯度的方向，函数下降的最快。

常用优化法： 梯度法和牛顿法

x0表示上一次的x值， x表示当前x 的值。

求最值，导数等于0的之后，所以要让导数等于0求极值点。 

牛顿法的缺点： 一阶导数是雅可比矩阵，二阶导数是一个海森矩阵。求一个矩阵的逆矩阵计算量比较大。二阶导数要是等于0，牛顿法失效。

更多的情况下使用的是拟牛顿法。

 

梯度是使用平面（一阶导）来拟合目标函数，有一阶项， 一阶是平面。

牛顿法是用用曲面（二阶导）来拟合目标函数，有二阶项。二阶是曲面。