Levenberg–Marquardt（LM）

1、基础概念

1.1、信赖域法

    在最优化算法中，都是要求一个函数的极小值，每一步迭代中，都要求目标函数值是下降的，而信赖域法，顾名思义，就是从初始点开始，先假设一个可以信赖的最大位移 s，然后在以当前点为中心，以 s 为半径的区域内，通过寻找目标函数的一个近似函数（二次的）的最优点，来求解得到真正的位移。在得到了位移之后，再计算目标函数值，如果其使目标函数值的下降满足了一定条件，那么就说明这个位移是可靠的，则继续按此规则迭代计算下去；如果其不能使目标函数值的下降满足一定的条件，则应减小信赖域的范围，再重新求解。其数学模型如下所示：

       $\{\begin{array}{ccc}min& m_k(s)=f_k+{g_k}^{T}s+\frac{1}{2}{s}^T{G}_{k}s& \\ s.t.& ||s||\le h_k& \end{array}$

其中，第一个式子就是我们用于模拟目标函数的二次模型，其自变量为 s，也就是我们要求的位移。$g_k$ 为梯度， $G_k$ 为Hesse矩阵，袁亚湘的书上说，如果Hesse矩阵不好计算，可以利用“有限差分”来近似 $G_k$, 或者用拟牛顿方法来构造Hesse矩阵的近似矩阵。
第二个式子中的 $h_k$ 是第 k 次迭代的信赖域上界（或称为信赖域半径），因此第二个式子表示的就是位移要在信赖域上界范围内。
    通过衡量二次模型与目标函数的近似程度，可以作出判定是否需要扩大信了：

• 第 k 次迭代的实际下降量为： $\Delta f_k=f_k-f(x_k+s_k)$
• 第 k 次迭代的预测下降量为： $\Delta m_k=f_k-m(s_k)$

定义比值： $r_k=\frac{\Delta f_k}{\Delta m_k}$

这个比值可以用于衡量二次模型与目标函数的近似程度，显然 r 值越接近1越好。

1.2、泰勒展开

    泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。

        $f(x)={\sum }_{i=0}^n\frac{f^{(i)}(x_0)}{i！}(x-x_0{)}^i$

其中，$x\in (x_0-\Delta x,x_0+\Delta x)$。

1.2、正定矩阵(positive definite matrix)

（1）广义定义
   设M是n阶方阵，如果对任何非零向量z，都有 $z^{T}Mz>0$，其中 $z^T$ 表示z的转置，就称M为正定矩阵。
例如：B为n阶矩阵，E为单位矩阵，a为正实数。在a充分大时，aE+B为正定矩阵。（B必须为对称阵）。

（2）狭义定义
   一个n阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z，都有 $z^{T}Mz>0$。其中zT表示z的转置。

（3）正定矩阵的性质

• 正定矩阵的行列式恒为正；
• 实对称矩阵A正定当且仅当A与单位矩阵合同；
• 若A是正定矩阵，则A的逆矩阵也是正定矩阵；
• 两个正定矩阵的和是正定矩阵；
• 正实数与正定矩阵的乘积是正定矩阵。

（4）正定矩阵的特征

• 对称阵A为正定的充分必要条件是：A的特征值全为正。
• 对称阵A为正定的充分必要条件是：A的各阶顺序主子式都为正。
• 任意阵A为正定的充分必要条件是：A合同于单位阵。

1.3、雅克比矩阵(Jacobian matrix)

   在向量分析中，雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。在代数几何中，代数曲线的雅可比行列式表示雅可比簇：伴随该曲线的一个代数群，曲线可以嵌入其中。它们全部都以数学家卡尔·雅可比命名；
   假设某函数从 $R^n$ 映到 $R^m$， 其雅可比矩阵是从 $R^n$ 到 $R^m$的线性映射，其重要意义在于它表现了一个多变数向量函数的最佳线性逼近。因此，雅可比矩阵类似于单变数函数的导数。
   假设 $R^n\to R^m$ 是一个从n维欧氏空间映射到到m维欧氏空间的函数。这个函数由m个实函数组成：$y_1(x_1,...,x_n),...,y_m(x_1,...,x_n)$。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵，这个矩阵就是所谓的雅可比矩阵：
       ( ∂ y 1 ∂ x 1 . .