牛顿下降法

前言、求解什么问题

1）求解方程f(x)=0的值；

2）求解最优化问题的极值

       在最优化的问题中，线性最优化至少可以使用单纯行法求解，但对于非线性优化问题，牛顿法提供了一种求解办法：假设任务是优化一个目标函数f，求函数f的极值，可以转化为求解函数f的导数f' = 0的问题，这样就可以把问题当做问题1）求解了

一、牛顿法

1.1 思想

牛顿法的设计是为了求解f(x)=0的问题，对求极值g(x)，可将其转化为g'(x) = f(x) = 0进行求解

此处：f(x) = g'(x)

         a. 迭代求解

         b. 对函数进行二次泰勒展开

1.2 推导公式

牛顿法需要求解二阶梯度(Hessian)矩阵，计算量比较大，

Hessian矩阵：