非线性优化相关算法

参考：

梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现_满城风絮-CSDN博客_newton迭代法代码

优化算法学习（LM算法）

优化算法学习（LM算法）_zhulinmanbu114的博客-CSDN博客_lm优化算法

python和matlab中优化方法库比较

python 中的 scipy 也有最优化的功能，体现在里面的 optimize 中，自己简单使用了下，发现它具有以下缺点：
优化算法比较少，有信頼域、单纯形法、BFGS算法等，能够满足不少常规函数的求解，但相对于 matlab 来说还是少的；
求解带约束的优化时，还需自己定义一阶导数，海森矩阵等，这一点很不方便。像 Matlab 只需输入函数就行，不需要你自己再输入一阶导数、黑塞矩阵。
而 scipy 中求解带约束的优化问题时，需要自己计算出一阶导数或二阶导数后，再输入
跟专业的优化软件 Matlab， Lingo 等还有不少差距。



利用 matlab 提供 fsolve 函数可以直接
解出该非线性方程的数值解。fsolve 函数默认的是 trust-region-dogleg 算法，还
可以用 trust-region-reflective 或 levenberg-marquardt 算法，但由于方程过于复杂，
解一次方程的时间大概是 150ms，效率偏低，很难保证测量位置实时显示的要
求。

非线性优化方法

高斯牛顿法和LM算法

高斯牛顿法主要利用泰勒展开的方法，将非线性

问题转化为线性问题进行求解，该方法的缺点在于对参数初始值的选择较为严格，

不恰当的初始值可能会导致迭代后的函数值大于迭代前的函数值，造成迭代无法

进行下去，最终得到错误的结果。

梯度下降法的寻优方向为梯度方向的反方向，

初始值可以任意设定，但其缺点在于离最优解较远处下降较快，而在靠近最优解时

下降缓慢，寻优效率不高。

LM 算法介于高斯牛顿法与梯度下降法之间，其在高斯

牛顿法中加入比例系数 λ，当 λ 取值较大时，LM 算法相当于梯度下降法，可以进

行全局搜索；随着迭代的次数的增加，λ 值越来越小，当 λ 取值很小时，该算法则

与高斯牛顿法类似，可以快速收敛到最优解。因此，LM 算法同时具备这两种算法

的优点，对于处理冗余参数问题具有独特的优势，在参数求解时能有效避免陷入局

部最优，处理复杂问题的效率也较高

- LM算法

LM对于初始点选择还是比较敏感；最小二乘法无需选取初始点（先验信息）

关于局部最优的判断

同一初始值，多跑几次

不同初始值，多跑几次

如果差异较大，则可能为局部最优解！