METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS 翻译（三）

METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS（三）

3. 非线性最小二乘问题

在本手册的其余部分中，我们将讨论求解非线性最小二乘问题的方法。给定一个向量函数 $f:{\mathbb{R}}^n\to {\mathbb{R}}^{m}withm\ge n$。我们想要最小化 $||f(x)||$，或者等价地找到

x ∗ = a r g m i n x { F ( x ) } (3.1 a) \pmb{x}^* = argmin_{\pmb{x}} \{F(\pmb{x})\} \tag{3.1 a} xxx∗=argminxxx​{F(xxx)}(3.1 a)

其中
$$F(x\text{x}x)=\frac{1}{2}\sum _{i=1}^m(f_i(x\text{x}x){)}^2=\frac{1}{2}||f(x\text{x}x)|{|}^2=\frac{1}{2}f(x\text{x}x{)}^{T}f(x\text{x}x)\text{\hspace{1em}(3.1 b)}$$

最小二乘问题可以用通用的优化方法来解决，但我们将提出更有效的特殊方法。在许多情况下，它们的性能比线性收敛更好，有时甚至可以达到二次收敛的性能，即使它们不需要实现二阶导数的计算。

在对本章的方法的描述中，我们需要 $F$ 的导数的公式：假设 $f$ 有连续的二阶偏导数，我们可以把它的泰勒展开写为
$$f(x\text{x}x+h\text{h}h)=f(x\text{x}x)+J\text{J}J(x\text{x}x)h\text{h}h+O(||h\text{h}h|{|}^2)\text{\hspace{1em}(3.2 a)}$$

其中 $J\text{J}J\in {\mathbb{R}}^{m\times n}$ 是雅可比矩阵。这是一个包含函数分量的一阶偏导数的矩阵，
$$(J\text{J}J(x\text{x}x){)}_{ij}=\frac{\partial f_i}{\partial x_j}(x\text{x}x)\text{\hspace{1em}(3.2 b)}$$

对于 $F:{\mathbb{R}}^n\to \mathbb{R}$，从（3.1b）中的第一个公式可以得出，
$$\frac{\partial F}{\partial x_j}(x)=\sum _{i=1}^m{f}_i(x)\frac{\partial f_i}{\partial x_j}(x)\text{\hspace{1em}(3.3)}$$

如果我们没有在定义（3.1b）中使用因子$\frac{1}{2}$，我们就会在很多表达式中得到一个恼人的因子$2$。

因此，梯度（1.4b）为
$$\dot{F}(x)=J(x{)}^{T}f(x)\text{\hspace{1em}(3.4 a)}$$

我们还需要 $F$ 的海塞矩阵，从（3.3）我们可以看到位置 $(j，k)$ 的元素是
$$\frac{{\partial }^{2}F}{\partial x_j\partial x_k}=\sum _{i=1}^m(\frac{\partial f_i}{\partial x_j}(x\text{x}x)\frac{\partial f_i}{\partial x_k}(x\text{x}x)+f_i(x\text{x}x)\frac{{\partial }^2{f}_i}{\partial x_j\partial x_k}(x\text{x}x))$$
从而
$$\ddot{F}(x)=J(x{)}^{T}J(x)+\sum _{i=1}^m{f}_i(x){\ddot{f}}_i(x)\text{\hspace{1em}(3.4 b)}$$

示例3.1.

（3.1）最简单的情况是当 $f(x\text{x}x)$ 具有以下形式时
$$f(x\text{x}x)=b\text{b}b-A\text{A}Ax\text{x}x$$

其中向量 $b\text{b}b\in {\mathbb{R}}^m$ 和矩阵 $A\text{A}A\in {\mathbb{R}}^{m\times n}$。我们说这是一个线性最小二乘问题。在这种情况下，对所有的 $x\text{x}x$，$J\text{J}J(x\text{x}x)=-A\text{A}A$，并且从（3.4a）中我们可以得到
$$\dot{F\text{F}F}(x\text{x}x)=-{A\text{A}A}^T(b\text{b}b-A\text{A}Ax\text{x}x)$$
当 ${x\text{x}x}^{\ast }$ 为下式对应的所谓的正规方程的解时，此方程为$0$
$$({A\text{A}A}^{T}A\text{A}A){x\text{x}x}^{\ast }={A\text{A}A}^{T}b\text{b}b\text{\hspace{1em}(3.5)}$$

这个问题可以用以下形式来表示
$$A\text{A}A{x\text{x}x}^{\ast }\approx b\text{b}b$$

或者我们可以通过正交变换来求解它：找到一个正交矩阵 $Q\text{Q}Q$ 满足
$${Q\text{Q}Q}^{T}A\text{A}A=\left[\begin{array}{c}R\text{R}R\\ 0\text{0}0\end{array}\right]$$

其中，$R\text{R}R\in {\mathbb{R}}^{n\times n}$ 为上三角形矩阵。通过在系统中的反向替换找到解
$$R\text{R}R{x\text{x}x}^{\ast }=({Q\text{Q}Q}^{T}b\text{b}b{)}_{1:n}$$

该方法的解比通过正规方程得到的解更精确。

在MATLAB中，假设数组 A 和 b 代表矩阵 $A\text{A}A$ 和向量 $b\text{b}b$。然后，命令 $A\setminus b$ 返回通过正交变换计算出的最小二乘解。

正如标题所暗示的那样，我们假设 $f$ 是非线性的，并且不应该详细讨论线性问题。我们参考了 Madsen and Nielsen（2002） 的第2章或 Golub and Van Loan (1996) 的第5.2节。

示例 3.2.

在例子1.1中，我们看到了一个由数据拟合产生的非线性最小二乘问题。另一个应用是在如下所示的非线性方程的求解中，
$$f({x\text{x}x}^{\ast })=0,wheref:{\mathbb{R}}^n\to {\mathbb{R}}^n$$

我们可以使用牛顿-拉夫森的方法：从最初的猜测 ${x\text{x}x}_0$ 开始，我们使用以下算法计算 ${x\text{x}x}_1,{x\text{x}x}_2,...$，该算法基于寻找 $h\text{h}h$，使得 $f(x\text{x}x+h\text{h}h)=0$ 并且忽略（3.2a）中的项 $O(||h\text{h}h|{|}^2)$，

$$\begin{array}{c}SolveJ\text{J}J({x\text{x}x}_k)h\text{h}h=-f({x\text{x}x}_k)for{h}_k\\ {x\text{x}x}_{k+1}={x\text{x}x}_k+{h\text{h}h}_k\end{array}\text{\hspace{1em}(3.6)}$$

这里，雅可比矩阵 $J\text{J}J$ 由（3.2b）给出。如果 $J\text{J}J({x\text{x}x}^{\ast })$ 是非奇异的，则该方法具有二次的最终收敛性能，即如果 $d_k=||{x\text{x}x}_k-{x\text{x}x}^{\ast }||$ 很小，则 $||{x\text{x}x}_{k+1}-{x\text{x}x}^{\ast }||=O(d_k^2)$。然而，如果 ${x\text{x}x}_k$ 远离 ${x\text{x}x}^{\ast }$，那么迭代后我们就有可能距离真值更远。

我们可以以一种使我们能够使用本章中将要介绍的所有“工具”的方式来重新表述这个问题：（3.6）的解是由（3.1）定义的函数 $F\text{F}F$ 的全局最小值，

$$F(x\text{x}x)=\frac{1}{2}||f(x\text{x}x)|{|}^2$$

由于 $F({x\text{x}x}^{\ast })=0$ 并且当 $f(x\text{x}x)\ne 0$ 时 $F(x\text{x}x)>0$。我们可以用以下方法来代替（3.6）中近似解的更新
$$x_{k+1}=x_k+{\alpha }_k{h}_k$$

其中，${\alpha }_k$ 是通过应用于函数 $\phi (\alpha )=F({x\text{x}x}_k+\alpha {h\text{h}h}_k)$ 的线搜索找到的。

作为一个具体的例子，我们将考虑以下问题，取自Powell（1970），
$$f(x\text{x}x)=\left[\begin{array}{c}{x}_1\\ \frac{10x_1}{x_1+0.1}+2x_2^2\end{array}\right]，$$

这个问题以 ${x\text{x}x}^{\ast }=0$ 作为唯一的解。对应的雅各比矩阵为
$$J\text{J}J(x\text{x}x)=\left[\begin{array}{cc}1& 0\\ (x_1+0.1{)}^{-2}& 4x_2\end{array}\right]，$$

它在解上是奇异的。

如果我们取 ${x\text{x}x}_0=[3,1{]}^T$ 并使用上述算法进行精确的线搜索，那么迭代将会收敛到 ${x\text{x}x}_c\approx [1.8016,0{]}^T$，这不是一个解。另一方面，很容易看出，由算法（3.6）给出的迭代是 ${x\text{x}x}_k=[0,y_k{]}^T$ 与 $y_{k+1}=\frac{1}{2}{y}_k$，即我们线性收敛到解。在一些例子中，我们将返回到这个问题，看看不同的方法是如何处理它。

3.1. 高斯-牛顿法

这种方法是我们将在下一节中描述的非常有效的方法的基础。它是基于向量函数分量的一阶导数的实现。在特殊情况下，它可以给出二次收敛性能，就像牛顿法用于通用优化问题那样，详见 Frandsen et al（2004）。

高斯-牛顿方法是基于对 $x\text{x}x$ 附近的 $f\text{f}f$ 的分量的线性近似（$f\text{f}f$ 的线性模型）：对于小的 $||h\text{h}h||$，根据泰勒展开（3.2）可以得到

$$f\text{f}f(x\text{x}x+h\text{h}h)\approx l\text{l}l(h\text{h}h)=f\text{f}f(x\text{(x}(x)+J\text{J}J(x\text{x}x)h\text{h}h\text{\hspace{1em}(3.7 a)}$$

将其代入到 $F$ 的定义（3.1）中，我们可以得到
$$\begin{gathered} F(x\text{x}x+h\text{h}h)\approx L(h\text{h}h)=\frac{1}{2}l\text{l}l(h\text{h}h{)}^{T}l\text{l}l(h\text{h}h) \\ =\frac{1}{2}{f\text{f}f}^{T}f\text{f}f+{h\text{h}h}^T{J\text{J}J}^{T}f\text{f}f+\frac{1}{2}{h\text{h}h}^T{J\text{J}J}^{T}J\text{J}Jh\text{h}h \\ =F(x\text{x}x)+{h\text{h}h}^T{J\text{J}J}^{T}f\text{f}f+\frac{1}{2}{h\text{h}h}^T{J\text{J}J}^{T}J\text{J}Jh\text{h}h\text{\hspace{1em}(3.7 b)} \end{gathered}$$

（其中 $f\text{f}f=f\text{f}f(x\text{x}x)$ 和 $J\text{J}J=J\text{J}J(x\text{x}x)$）。高斯-牛顿步长 ${h\text{h}h}_{gn}$ 使 $ L(\pmb{h})$ 最小化，
h g n = a r g m i n h { L ( h ) } \pmb{h}_{gn} = argmin_{\pmb{h}} \{L(\pmb{h})\} hhhgn​=argminhhh​{L(hhh)}

很容易看出，$L$ 的梯度和海塞矩阵为
$$\dot{L\text{L}L}(h\text{h}h)={J\text{J}J}^{T}f\text{f}f+{J\text{J}J}^{T}J\text{J}Jh\text{h}h,\ddot{L\text{L}L}(h\text{h}h)={J\text{J}J}^{T}J\text{J}J\text{\hspace{1em}(3.8)}$$

与（3.4a）的比较表明，$\dot{L\text{L}L}(0\text{0}0)=\dot{F\text{F}F}(x\text{x}x)$。此外，我们还可以看到矩阵 $\ddot{L\text{L}L}(h\text{h}h)$ 与 $h$ 无关。它是对称的，如果 $J\text{J}J$ 是满秩的，即如果 $J\text{J}J$ 的列是线性独立的，那么 $\ddot{L\text{L}L}(h\text{h}h)$ 也是正定的，参见附录A。这意味着 $L(h\text{h}h)$ 有一个唯一的最小值，这可以通过求解下列方程找到
$$({J\text{J}J}^{T}J\text{J}J){h\text{h}h}_{gn}=-{J\text{J}J}^{T}f\text{f}f\text{\hspace{1em}(3.9)}$$

这是 $F$ 的一个下降方向，由于
$${h\text{h}h}_{gn}^T\dot{F\text{F}F}(x\text{x}x)={h\text{h}h}_{gn}^T({J\text{J}J}^{T}f\text{f}f)=-{h\text{h}h}_{gn}^T({J\text{J}J}^{T}J){h\text{h}h}_{gn}<0\text{\hspace{1em}(3.10)}$$

因此，我们可以在算法 2.4 中使用 ${h\text{h}h}_{gn}$ 来表示 ${h\text{h}h}_d$。典型的步骤是
$$\begin{gathered} Solve({J\text{J}J}^{T}J){h\text{h}h}_{gn}=-{J\text{J}J}^{T}f\text{f}f \\ x\text{x}x:=x\text{x}x+\alpha {h\text{h}h}_{gn}\text{\hspace{1em}(3.11)} \end{gathered}$$

其中，$\alpha$ 是通过线搜索找到的。经典的高斯-牛顿方法在所有步骤中都使用了 $\alpha =1$。可以证明使用线搜索的方法可以保证收敛性，前提是

• a. { x   ∣   F ( x ) ≤ F ( x 0 ) } \{\pmb{x} \, | \, F(\pmb{x}) \leq F(\pmb{x}_0)\} {xxx∣F(xxx)≤F(xxx0​)} 是有界的，并且
• b. 雅各比矩阵 $J\text{J}J(x\text{x}x)$ 在所有步骤中都是满秩的。

在第 2 章中，我们看到牛顿优化方法具有二次收敛性。 高斯-牛顿法通常不是这样。

为了说明这一点，我们比较了两种方法中使用的搜索方向，
$$\ddot{F\text{F}F}(x\text{x}x){h\text{h}h}_n=-\dot{F\text{F}F}(x\text{x}x)and\ddot{L\text{L}L}(h\text{h}h){h\text{h}h}_{gn}=-\dot{L\text{L}L}(0\text{0}0)$$

我们已经在 (3.8) 处指出，两个公式的右侧是相同的，但是从（3.4b）和（3.8）中我们看到左边的系数矩阵是不同的：
$$\ddot{F\text{F}F}(x\text{x}x)=\ddot{L\text{L}L}(h\text{h}h)+\sum _{i=1}^m{f}_i(x){\ddot{f\text{f}f}}_i(x\text{x}x)\text{\hspace{1em}(3.12)}$$

因此，如果 $f({x\text{x}x}^{\ast })=0\text{0}0$，那么当 $x\text{x}x$ 接近 ${x\text{x}x}^{\ast }$ 时 $\ddot{L\text{L}L}(h\text{h}h)\approx \ddot{F\text{F}F}(x\text{x}x)$，高斯-牛顿方法也具有二次收敛性。如果函数 { f i } \{f_i\} {fi​} 具有小曲率或 $|f_i({x\text{x}x}^{\ast })|$ 很小，我们可以期待超线性收敛，但通常我们认为高斯-牛顿法具有线性收敛性能。值得注意的是，$F(\pmb{x}^*) $ 的值控制了收敛速度。

示例 3.3.

考虑$n=1,m=2$时的简单问题
$$f(x)=\left[\begin{array}{c}x+1\\ \lambda x^2+x-1\end{array}\right].F(x)=\frac{1}{2}(x+1{)}^2+\frac{1}{2}(\lambda x^2+x-1{)}^2$$

它遵循
$$\dot{F}(x)=2{\lambda }^2{x}^3+3\lambda x^2-2(\lambda -1)x$$

所以 $x=0$ 是 $F$ 的驻点。现在，
$$\ddot{F}(x)=6{\lambda }^2{x}^2+6\lambda x-2(\lambda -1)$$

这表明如果 $\lambda <1$，则 $\ddot{F\text{F}F}(x)>0$，因此 $x=0$ 是局部最小值—实际上，它也是全局最小值。

雅各比矩阵为
$$J\text{J}J(x)=\left[\begin{array}{c}1\\ 2\lambda x+1\end{array}\right]$$

并且从 $x_k$ 出发的经典高斯-牛顿方法给出
$$x_{k+1}=x_k-\frac{2{\lambda }^2{x}_k^3+3\lambda x_k^2-2(\lambda -1)x_k}{2+4\lambda x_k+4{\lambda }^2{x}_k^2}$$

现在，如果 $\lambda \ne 0$ 并且 $x_k$ 接近于零，则
$$x_{k+1}=x_k+(\lambda -1)x_k+O(x_k^2)=\lambda x_k+O(x_k^2)$$

因此，如果 $|\lambda |<1$，我们具有线性收敛性能。如果 $\lambda <-1$，则经典高斯-牛顿法无法找到最小值。例如，当 $\lambda =-2$ 和 $x_0=0.1$ 时，我们得到看似混乱的迭代行为，

最后，如果 $\lambda =0$，那么
$$x_{k+1}=x_k-x_k=0$$

即我们一步就找到了解。原因是在这种情况下 $f$ 是线性函数。

示例 3.4.

对于示例 1.1 中的数据拟合问题，雅各比矩阵的第 $i$ 行是
$$J\text{J}J(x\text{x}x{)}_{i,:}=\left[\begin{array}{cccc}-x_3{t}_i{e}^{x_1{t}_i}& -x_4{t}_i{e}^{x_2{t}_i}& -e^{x_1{t}_i}& -e^{x_2{t}_i}\end{array}\right]$$

如果问题是一致的（即 $f\text{f}f({x\text{x}x}^{\ast })=0$），且 $x_1^{\ast }$ 与 $x_2^{\ast }$ 显著不同，那么使用线搜索的高斯-牛顿法将具有二次最终收敛性能。如果 $x_1^{\ast }=x_2^{\ast }$，则 $rank(J\text{J}J({x\text{x}x}^{\ast }))\le 2$，高斯-牛顿法失效。

如果一个或多个测量误差较大，则 $f\text{f}f({x\text{x}x}^{\ast })$ 有一些较大的分量，这可能会减慢收敛速度。

在 MATLAB 中，我们可以给出一个非常紧凑的函数来计算 $f\text{f}f$ 和 $J\text{J}J$：假设 $x\text{x}x$ 保存当前迭代结果，并且 $m\times 2$ 的数组 $ty$ 保存数据点的坐标。以下函数返回包含 $f\text{f}f(x\text{x}x)$ 和 $J\text{J}J(x\text{x}x)$ 的 $f$ 和 $J$。

示例 3.5.

考虑示例 3.2 中的问题，$f\text{f}f({x\text{x}x}^{\ast })=0$ 且 $f:{\mathbb{R}}^n\to {\mathbb{R}}^n$。如果我们使用牛顿-拉夫森方法来解决这个问题，典型的迭代步骤是
$$SolveJ\text{J}J(x\text{x}x){h\text{h}h}_{nr}=-f\text{f}f(x\text{x}x);x\text{x}x:=x\text{x}x+{h\text{h}h}_{nr}$$

应用于最小化 $F(x)=\frac{1}{2}f\text{f}f(x\text{x}x{)}^{T}f\text{f}f(x\text{x}x)$ 的高斯-牛顿方法具有以下的典型步骤
$$Solve(J\text{J}J(x\text{x}x{)}^{T}J\text{J}J(x\text{x}x)){h\text{h}h}_{gn}=-J\text{J}J(x\text{x}x{)}^{T}f\text{f}f(x\text{x}x);x\text{x}x:=x\text{x}x+{h\text{h}h}_{gn}$$

注意，$J\text{J}J(x\text{x}x)$ 是一个方阵，我们假设它是非奇异的。则 $(J\text{J}J(x\text{x}x{)}^T{)}^{-1}$ 存在，因此 ${h\text{h}h}_{gn}={h\text{h}h}_{nr}$。因此，当应用于例 3.2 中的 Powell 问题时，高斯-牛顿法将有与该示例中讨论的牛顿-拉夫森方法方法相同的问题。

这些例子表明，高斯-牛顿法可能会失败，无论是有还是没有线搜索。尽管如此，在许多应用程序中，它提供了相当不错的
性能，尽管它通常只具有线性收敛性能，而不是实现了二阶导数的牛顿法的二次收敛性能。

在第 3.2 节和第 3.3 节中，我们给出了两种具有优越全局性能的方法，在第 3.4 节中，我们对第一种方法进行了修改，以实现超线性最终收敛性能。

3.2. 列文伯格-马尔夸特方法

Levenberg (1944) 和后来的 Marquardt (1963) 建议使用阻尼高斯-牛顿方法，参见第 2.4 节。步长 ${h\text{h}h}_{lm}$ 由对（3.9）的以下修改确定，
$$({J\text{J}J}^{T}J\text{J}J+\mu I\text{I}I){h\text{h}h}_{lm}=-g\text{g}gwithg\text{g}g={J\text{J}J}^{T}f\text{f}fand\mu \ge 0\text{\hspace{1em}(3.13)}$$

这里，$J\text{J}J=J\text{J}J(x\text{x}x)$ 和 $f\text{f}f=f\text{f}f(x\text{x}x)$。阻尼参数 $\mu$ 有以下几个影响：

• a) 对于所有的 $\mu >0$，系数矩阵是正定的，这确保 ${h\text{h}h}_{lm}$ 是下降方向，参见 (3.10)。
• b) 对于较大的 $\mu$ 值，我们得到
  $${h\text{h}h}_{lm}\approx -\frac{1}{\mu }g\text{g}g=-\frac{1}{\mu }\dot{F\text{F}F}(x\text{x}x)$$
  即在最陡下降方向上的一小步。如果当前的迭代远离最优解，这很好。
• c) 如果 $\mu$ 非常小，则 ${h\text{h}h}_{lm}\approx {h\text{h}h}_{gn}$。当 $x$ 接近 $x^{\ast }$ 时，这是迭代最后阶段的一个很好的步长。如果 $F({x\text{x}x}^{\ast })=0$（或非常小），那么我们可以（几乎）得到二次最终收敛性能。

因此，阻尼参数会影响步长的方向和大小，这导致我们制定了一种不需要特定线搜索的方法。初始 $\mu$ 值的选择应与 ${A\text{A}A}_0=J\text{J}J({x\text{x}x}_0{)}^{T}J\text{J}J({x\text{x}x}_0)$ 中元素的大小有关，例如让
μ 0 = τ ⋅ m a x i { a i i ( 0 ) } (3.14) \mu_0 = \tau \cdot max_i \{a_{ii}^{(0)}\} \tag{3.14} μ0​=τ⋅maxi​{aii(0)​}(3.14)

其中 $\tau$ 由用户选择。

该算法对 $\tau$ 的选择不是很敏感，但根据经验，应该使用一个小的值，例如，如果 $x_0$ 被认为是 $x^{\ast }$ 的良好近似值，则 $\tau =10^{-6}$。否则，使用 $\tau =10^{-3}$ 甚至 $\tau =1$。

在迭代期间，可以更新 $\mu$ 的大小，如第 2.4 节所述。更新由增益比率所控制
$$\wp =\frac{F(x\text{x}x)-F(x\text{x}x+{h\text{h}h}_{lm})}{L(0\text{0}0)-L({h\text{h}h}_{lm})}$$

其中分母是线性模型（3.7b）预测的增益，
$$\begin{gathered} L(0\text{0}0)-L({h\text{h}h}_{lm})=-{h\text{h}h}_{lm}^T{J\text{J}J}^{T}f\text{f}f-\frac{1}{2}{h\text{h}h}_{lm}^T{J\text{J}J}^{T}J\text{J}J{h\text{h}h}_{lm} \\ =-\frac{1}{2}{h\text{h}h}_{lm}^T(2g\text{g}g+({J\text{J}J}^{T}J\text{J}J+\mu I\text{I}I-\mu I\text{I}I){h\text{h}h}_{lm}) \\ =\frac{1}{2}{h\text{h}h}_{lm}^T(\mu {h\text{h}h}_{lm}-g\text{g}g) \end{gathered}$$

注意到 ${h\text{h}h}_{lm}^T{h\text{h}h}_{lm}$ 和 $-{h\text{h}h}_{lm}^{T}g\text{g}g$ 都是正的，所以 $L(0\text{0}0)-L({h\text{h}h}_{lm})$ 保证是正的。

较大的 $\wp$ 值表明 $L({h\text{h}h}_{lm})$ 是 $F(x\text{x}x+{h\text{h}h}_{lm})$ 的一个很好的近似值，我们可以减小 $\mu$，这样下一个列文伯格-马尔夸特步长更接近高斯-牛顿步长。如果 $\wp$ 很小（甚至可能是负数），那么 $L({h\text{h}h}_{lm})$ 是一个很差的近似值，我们应该增加 $\mu$ 以达到更接近最陡下降方向和减少步长的双重目标。可以通过不同的方式实现这些目标，请参见第 2.4 节和下面的示例 3.7。

算法的停止标准应该反映在全局最小值我们有 $\dot{F\text{F}F}({x\text{x}x}^{\ast })=g\text{g}g({x\text{x}x}^{\ast })=0$，所以我们可以使用
$$||g\text{g}g|{|}_{\infty }\le {ϵ}_1\text{\hspace{1em}(3.15 a)}$$

其中 ${ϵ}_1$ 是一个小的正数，由用户选择。另一个相关标准是：如果 $x\text{x}x$ 的变化很小，则停止，
$$||{x\text{x}x}_{new}-x\text{x}x||\le {ϵ}_2(||x\text{x}x||+{ϵ}_2)\text{\hspace{1em}(3.15 b)}$$

这个表达式给出了从 $||x\text{x}x||$ 大时的相对步长 ${ϵ}_2$ 到 $x\text{x}x$ 接近 $0\text{0}0$ 时的绝对步长 ${ϵ}_2^2$ 的渐进变化。最后，在所有迭代过程中，我们需要防止无限循环，
$$k\ge k_{max}\text{\hspace{1em}(3.15 c)}$$

${ϵ}_2$ 和 $k_{max}$ 也是由用户选择的。

例如，如果 ${ϵ}_1$ 选择得如此之小以至于舍入误差对 $||g\text{g}g|{|}_{\infty }$ 有很大影响时最后两个标准生效。这通常表明 $F$ 中的实际增益与线性模型 (3.7b) 预测的增益之间的一致性不佳，并且会导致 $\mu$ 在每一步中都增加。增加 $\mu$ 的策略（2.21）意味着在这种情况下 $\mu$ 增长很快，导致 $||{h\text{h}h}_{lm}||$ 较小，并且这个过程将由（3.15b）停止。

该算法总结如下。

示例 3.6.

通过比较（3.9）和正规方程（3.5）我们看到 ${h\text{h}h}_{gn}$ 只是如下线性问题的最小二乘解
$$f\text{f}f(x\text{x}x)+J\text{J}J(x\text{x}x)h\text{h}h\approx 0$$

类似地，L-M 方程（3.13）是如下线性问题的正规方程
$$\left[\begin{array}{c}f\text{f}f(x\text{x}x)\\ 0\text{0}0\end{array}\right]+\left[\begin{array}{c}J\text{J}J(x\text{x}x)\\ \sqrt{\mu }I\text{I}I\end{array}\right]h\text{h}h\approx 0$$

如例 3.1 所述，最准确的解是通过正交变换找到的。但是，${h\text{h}h}_{lm}$ 的解只是一个迭代过程中的一个步骤，不需要很精确地计算，而且由于通过正规方程获得的解“更便宜”，所以通常采用这种方法。

示例 3.7.

我们在示例 1.1 和 3.4 中的数据拟合问题上使用了算法 3.16。图 1.1 表明 $x_1$ 和 $x_2$ 都是负数，并且 $M({x\text{x}x}^{\ast },0)\approx 0$。 这些条件由 $x_0=[-1,-2,1,-1{]}^T$ 满足。此外，我们在表达式（3.14）中使用 $\tau = 10^{−3} $ 计算 ${\mu }_0$ 并且在（3.15）给出的停止迭代标准中使用 ${ϵ}_1={ϵ}_2=10^{-8},k_{max}=200$。

该算法在$x\approx [-4,-5,4,-4{]}^T$对应的第62次迭代步骤后停止。性能如下图所示；注意这里纵轴是对数纵坐标轴

这个问题并不一致，所以我们可以期待线性最终收敛性能。最后 7 个迭代步骤表明收敛性更好（超线性）。解释是，${\ddot{f}}_i(x\text{x}x)$ 是 $t_i$ 的缓变函数，而 $f_i(\pmb{x}^*) $ 具有“随机”的符号，因此对 (3.12) 中“遗忘项”的贡献几乎被抵消。这种情况在很多数据拟合应用中都会出现。

为了比较，图 3.2b 显示了使用更新策略（2.20）的性能。从第 5 步到第 68 步，我们看到 $\mu$ 在每次减小之后都会立即增加，并且梯度的范数具有崎岖不平的行为。这会减慢收敛速度，但最后阶段与图 3.2a 所示一致。

示例 3.8.

图 3.3 说明了算法 3.16 应用于示例 3.2 和 3.5 中的 Powell 问题的性能。起点是 ${x\text{x}x}_0=[3,1{]}^T$，${\mu }_0$ 由 （3.14） 中令 $\tau =1$ 给出，并且我们在停止标准（3.15）中使用 ${ϵ}_1={ϵ}_2=10^{-15},k_{max}=100$。

迭代似乎在步骤 22 和 30 之间停止。这是（几乎）奇异雅各比矩阵的影响。之后似乎具有线性收敛性能。迭代在点 $x\text{x}x=[-3.82e-08,-1.38e-03{]}^T$ 处由“保护措施”停止。这比我们在示例 3.2 中找到的更接近 ${x\text{x}x}^{\ast }=0$，但我们希望能够做得更好；见示例 3.10 和 3.17。