LM

LM算法的理解

     LM是解决非线性的最小二乘问题，多用于曲线拟合，它可以理解为高斯牛顿与最速下 降法的结合：
                               x_(k+1)=x_k+H^(-1)*g_ 
 其中，H≈J^T J+μI

与梯度下降法，牛顿法，高斯牛顿法的区别就是在于迭代步长H^(-1)，高斯在梯度下降法基础上把 迭代步长用Hessian矩阵代替，高斯牛顿在牛顿法基础上用雅可比矩阵J代替Hessian
矩阵，而LM算法在高斯牛顿基础上引入单位矩阵，加强矩阵可逆性。
与梯度下降法，牛顿法，高斯牛顿法的区别就是在于迭代步长H^(-1)，高斯在梯度下降法基础上把迭代步长用Hessian矩阵代替，高斯牛顿在牛顿法基础上用雅可比矩阵J代替Hessian矩阵，而LM算法在高斯牛顿基础上引入单位矩阵，加强矩阵可逆性。
Hessian 矩阵由多元函数的二阶偏导构成的方阵，描述函数局部曲率，可以用来进新行
多元函数的极值判定，如果是正定矩阵，则临界点M存在局部极小值，负定，存在局部极大值，不定，不存在极值；还可以用边缘检测，边缘响应消除，在图像处理中，用来抽取图像特征。它矩阵里面参数描述着各变量在各方向上灰度梯度变化，我们在使用对应点的Hessian矩阵求取的特征向量以及对应的特征值，较大的特征值对应特征向量垂直于直线的，较小的特征值对应的特征向量是沿着直线方向的。
补充，牛顿法应用于求方程的根以及最优化，其收敛速度最快。大致思路是采用泰勒展开的二阶近似，其Hessian矩阵如果是正定，函数的局部最小值可以通过上面的二次型的一阶导数等于0来取。
雅可比矩阵是由一些一阶偏导数以一定的方式列成的，其行列式为雅可比行列式，其重要性在于体现一个可微方程的最优线性逼近.