LM算法的理解
LM是解决非线性的最小二乘问题,多用于曲线拟合,它可以理解为高斯牛顿与最速下 降法的结合:
x_(k+1)=x_k+H^(-1)*g_
其中,H≈J^T J+μI
与梯度下降法,牛顿法,高斯牛顿法的区别就是在于迭代步长H^(-1),高斯在梯度下降法基础上把 迭代步长用Hessian矩阵代替,高斯牛顿在牛顿法基础上用雅可比矩阵J代替Hessian
矩阵,而LM算法在高斯牛顿基础上引入单位矩阵,加强矩阵可逆性。
与梯度下降法,牛顿法,高斯牛顿法的区别就是在于迭代步长H^(-1),高斯在梯度下降法基础上把迭代步长用Hessian矩阵代替,高斯牛顿在牛顿法基础上用雅可比矩阵J代替Hessian矩阵,而LM算法在高斯牛顿基础上引入单位矩阵,加强矩阵可逆性。
Hessian 矩阵由多元函数的二阶偏导构成的方阵,描述函数局部曲率,可以用来进新行
多元函数的极值判定,如果是正定矩阵,则临界点M存在局部极小值,负定,存在局部极大值,不定,不存在极值;还可以用边缘检测,边缘响应消除,在图像处理中,用来抽取图像特征。它矩阵里面参数描述着各变量在各方向上灰度梯度变化,我们在使用对应点的Hessian矩阵求取的特征向量以及对应的特征值,较大的特征值对应特征向量垂直于直线的,较小的特征值对应的特征向量是沿着直线方向的。
补充,牛顿法应用于求方程的根以及最优化,其收敛速度最快。大致思路是采用泰勒展开的二阶近似,其Hessian矩阵如果是正定,函数的局部最小值可以通过上面的二次型的一阶导数等于0来取。
雅可比矩阵是由一些一阶偏导数以一定的方式列成的,其行列式为雅可比行列式,其重要性在于体现一个可微方程的最优线性逼近.