第6讲 非线性优化（偏理论）

  对于非线性优化问题，
$$\underset{p}{\min }F(p)$$

$$F(p)={f(p)}^T{\Sigma }^{-1}f(p)$$
采用迭代的方式，从一个初始值出发，不断更新当前的优化变量，使得代价函数下降。换而言之，就是将优化变量从$p$变成$\Delta p$，
$$\underset{\Delta p}{\min }F(p+\Delta p)$$

1 一阶梯度法和二阶梯度法

直接将$F(p+\Delta p)$泰勒展开，

2 高斯牛顿法

将$f(p)$泰勒展开，

3 列文伯格-马夸尔特法

在高斯牛顿法的基础上加上信赖域，利用拉格朗日乘数法求解$\Delta p$，

4 DogLeg法

信赖域法，待补充！