【MATH】Levenberg-Marquarelt法（LM法）

背景

最优化方法，也是一种迭代求函数极值的方法

核心内容

1. 雅可比矩阵
2. 梯度下降法
3. 高斯牛顿法

特点

针对一些非线性的代价函数求解用最小二乘法有难度，用LM算法会简单许多。本质算是一种带阻尼的高斯-牛顿法

Levenberg-Marquarelt法

回顾A：牛顿法求解极值问题$$x_k=x_{k-1}-H(x_{k-1}^{-1})▽f(x_{k-1})$$

存在问题：
1.计算量大；
2.海森矩阵可能非正定难以求逆；
3.奇异矩阵，不能求逆；
4.不能保证目标函数是下降的；
5.不能保证收敛；

回顾B：梯度下降法求解极值问题

$$x_k=x_{k-1}-\alpha ▽f(x)$$
其中，$\alpha$是步长

LM法

$$x_k=x_{k-1}-(H+\alpha I{)}^{-1}▽f(x_{k-1})$$

当下降太快时使用较小的$\alpha$，使整个公式接近高斯牛顿法；
当下降太慢时使用较大的$\alpha$，使整个公式接近梯度下降法

引：最小二乘问题

对于一个非线性最小二乘问题：$$x=argmi{n}_{x}F(x)=argmi{n}_x\frac{1}{2}\sum _{i=1}^N||f(x)|{|}^2$$
则可以令：
$$F(x)=\frac{1}{2}\sum _{i=1}^N||f(x)|{|}^2=\frac{1}{2}||\mathbf{f}(x)|{|}^2=\frac{1}{2}\mathbf{f}(x{)}^T\mathbf{f}(x)$$
给出$\mathbf{f}(x)$的一阶泰勒展开式：
$$\mathbf{f}(x+h)=\mathbf{f}(x)+{\mathbf{J}}^{\prime }(x)h+o(h^{T}h)$$
去掉高阶项，代入到$F(x)$：[了解向量函数运算]
$$F(x+h)\simeq L(h)=\frac{1}{2}{\mathbf{f}}^T\mathbf{f}+h^T\mathbf{Jf}+\frac{1}{2}{h}^T{\mathbf{J}}^T\mathbf{J}h$$到这里，如果是直接对$h$求导，令其等于0，则是牛顿法的求解方法，难点在于$(J{)}^T\mathbf{J}$的逆难求，因此LM方法是加一个阻尼项$\frac{1}{2}\mu h^{T}h$:
$$h=argmi{n}_{h}G(H)=argmi{n}_h\frac{1}{2}{\mathbf{f}}^T\mathbf{f}+h^T\mathbf{Jf}+\frac{1}{2}{h}^T{\mathbf{J}}^T\mathbf{J}h+\frac{1}{2}\mu h^{T}h$$
因此，上式对$h$求偏导=0【Why?：微积分+泰勒展开式】，得到：
$$h=-\frac{g}{\mathbf{H}+\mu \mathbf{I}}$$
其中：
$$\mathbf{H}={\mathbf{J}}^T\mathbf{J},g={\mathbf{J}}^T$$

注：更详细的算法过程和初始值选取，可参考：

Levenberg-Marquardt 最小二乘优化