非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (II)

Title: 非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (II)

姊妹博文

非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (I)

非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (II) $⟵$ 本篇

非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (III)

非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (IV)

$\uparrow$ 理论部分

---

$\downarrow$ 实例部分

非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (实例篇 V)

---

目录

I.引言
II.牛顿迭代法解非线性方程
    1.一元非线性方程形式的牛顿迭代法
    2.高维非线性方程组形式的牛顿迭代法
    3.牛顿迭代法的雅可比矩阵
III.牛顿迭代法解非线性最小二乘问题
    1.从方程问题到最小二乘问题的演化
    2.最小二乘问题 Jacobian 矩阵的推导
    3.最小二乘问题 Jacobian 矩阵的性质
        A.维度
        B.整体 Hessian 矩阵
        C.局部 Hessian 矩阵
        D.Jacobian 矩阵/Hessian 矩阵
        E.Hessian 矩阵的对称性
IV.高斯-牛顿法解非线性最小二乘问题
    1.高斯-牛顿法的获得
    2.高斯-牛顿法的优势
    3.高斯-牛顿法的解读 —— 优化观点
V.最小二乘法与高斯的贡献
VI.总结
参考文献

---

[点击回到上一章节]

II. 牛顿迭代法解非线性方程

1. 一元非线性方程形式的牛顿迭代法

第一次学牛顿迭代法是在大学的 “数值计算方法” 课上, 用来求非线性函数的根/零点, 也就是对应的非线性方程的解^[1].

该方法的原理如 Fig. 1 所示. 牛顿迭代法的最终目的是求函数 $y=f(x)$ 的零点 (假设零点存在的情况下), 即满足 $f(x^{\ast })=0$ 的 $x^{\ast }$.

初始:

因为不知道 $x^{\ast }$ 的确切值, 先猜测一个初始值 $x_{[0]}$, 显然 $\left|f(x_{[0]})\right|>\epsilon$ (其中 $\epsilon$ 为一个判断函数值接近于 0 的门限值).

迭代1:

作函数 $f(x)$ 在 $x_{[0]}$ 处的切线, 切线的斜率为 $f^{{}^{\prime }}(x_{[0]})$, 则切线方程可以写成
$$\frac{y-f(x_{[0]})}{x-x_{[0]}}=f^{{}^{\prime }}(x_{[0]})\text{\hspace{1em}(II-1-1)}$$
当 $y=0$ 时, 该切线与 x 轴相交于 $x_{[1]}$,
$$x_{[1]}=x_{[0]}-\frac{f(x_{[0]})}{f^{{}^{\prime }}(x_{[0]})}\text{\hspace{1em}(II-1-2)}$$
每获得一个 x 轴上的交点, 都判断该交点是否足够接近零点.

如果如下判别式成立, 则 $x_{[1]}$ 就近似看做是零点值, 完成工作.
$$\left|f(x_{[1]})\right|<\epsilon \text{\hspace{1em}(II-1-3)}$$
如判别式不成立则继续迭代计算.

迭代2:

再以新得到的 $x_{[1]}$ 作为初始点, 作函数 $f(x)$ 在 $x_{[1]}$ 处的切线, 并求该切线与 x 轴的交点 $x_{[2]}$
$$x_{[2]}=x_{[1]}-\frac{f(x_{[1]})}{f^{{}^{\prime }}(x_{[1]})}\text{\hspace{1em}(II-1-4)}$$
同样需要验证判别式 (类似式 (II-1-3)), 以确定是否获得目标值.

迭代3:

如此循环迭代,
$$x_{[n]}=x_{[n-1]}-\frac{f(x_{[n-1]})}{f(x_{[n-1]}^{{}^{\prime }})}\text{\hspace{1em}(II-1-5)}$$
得到趋于 $x^{\ast }$ 的序列, $x_{[0]}\to x_{[1]}\to x_{[2]}\to \cdots \to x^{\ast }$.

结束:

只要中间迭代步满足
$$\left|f(x_{[n]})\right|<\epsilon \text{\hspace{1em}(II-1-6)}$$
就将 $x_{[n]}$ 作为 $x^{\ast }$ 的近似值, 并结束求解过程.

Fig. 1 牛顿迭代法求非线性函数的根

---

2. 高维非线性方程组形式的牛顿迭代法

函数切线方程式 (II-1-1) 可以写成等价形式
$$f(x)\approx f(x_{[i]})+f^{{}^{\prime }}(x_{[i]})(x-x_{[i]})\text{\hspace{1em}(II-2-1)}$$
这是一元函数在 $x_{[i]}$ 处的一阶泰勒近似 (A First-Order Taylor Approximation).

一元方程推广到非线性方程组为
$$\mathbf{f}(\mathbf{x})=0\text{\hspace{1em}(II-2-2)}$$
其中 $\mathbf{f}=\left[\begin{array}{c}{f}_1(x_1,x_2,\cdots ,x_n)\\ f_2(x_1,x_2,\cdots ,x_n)\\ ⋮\\ f_m(x_1,x_2,\cdots ,x_n)\end{array}\right]$, $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$.

相应地, 推广到高维的一阶泰勒近似为
$$\mathbf{f}(\mathbf{x})\approx \mathbf{f}({\mathbf{x}}_{[i]})+{\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}|}_{{\mathbf{x}}_{[i]}}(\mathbf{x}-{\mathbf{x}}_{[i]})\text{\hspace{1em}(II-2-3)}$$
其中 ${\mathbf{x}}_{[i]}$ 为 $\mathbf{x}$ 的第 i 步迭代值, 写成分量形式为 ${\mathbf{x}}_{[i]}={\left[\begin{array}{c}{x}_1^i,x_2^i,\cdots ,x_n^i\end{array}\right]}^{\mathrm{T}}$.

取 $\mathbf{f}(\mathbf{x})=0$ 时, 得到迭代值
$${\mathbf{x}}_{[i+1]}={\mathbf{x}}_{[i]}-{\left({\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}|}_{{\mathbf{x}}_{[i]}}\right)}^{+}\mathbf{f}({\mathbf{x}}_{[i]})\text{\hspace{1em}(II-2-4)}$$
其中 $(\cdot {)}^{+}$ 为矩阵伪逆 (The Matrix PseudoInverse).

以上即为牛顿迭代法的高维推广.

需要说明, 不管是一维情况还是高维情况下的牛顿迭代法, 都会根据实际情况而有各种变形实现以及分类讨论.

我们此处只是给出了原理性示意, 仅适用于最理想情况.

---

3. 牛顿迭代法的雅可比矩阵

定义 $\mathbf{f}(\mathbf{x})$ 在 ${\mathbf{x}}_{[i]}$ 处的雅可比矩阵 (The Jacobian Matrix)
$$\mathbf{J}({\mathbf{x}}_{[i]})\triangleq {\frac{\partial \mathbf{f}(\mathbf{x})}{\partial \mathbf{x}}|}_{{\mathbf{x}}_{[i]}}={\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \frac{\partial f_m}{\partial x_2}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right]}_{\mathbf{x}={\mathbf{x}}_{[i]}}\text{\hspace{1em}(II-3-1)}$$
(关于向量求导可参见机器人中常用矩阵等式-I (汇总))

则式 (II-2-4) 可以写为
$${\mathbf{x}}_{[i+1]}={\mathbf{x}}_{[i]}-\mathbf{J}({\mathbf{x}}_{[i]}{)}^{+}\mathbf{f}({\mathbf{x}}_{[i]})\text{\hspace{1em}(II-3-2)}$$
我们知道矩阵伪逆存在着左逆和右逆 (参考四足机器人中不同优先级任务的执行——Null-Space Projection方法), 考虑到本博客围绕着最优化问题, 数据维度 $m$ $>$ 参数维度 $n$, 所以此处的伪逆为左逆, 即

$${\mathbf{J}}^{+}={\left({\mathbf{J}}^{\mathrm{T}}\mathbf{J}\right)}^{-1}{\mathbf{J}}^{\mathrm{T}}\text{\hspace{1em}(II-3-3)}$$
故式 (II-3-2) 可进一步写为
$${\mathbf{x}}_{[i+1]}={\mathbf{x}}_{[i]}-{\left[\mathbf{J}({\mathbf{x}}_{[i]}{)}^{\mathrm{T}}\mathbf{J}({\mathbf{x}}_{[i]})\right]}^{-1}\mathbf{J}({\mathbf{x}}_{[i]}{)}^{\mathrm{T}}\mathbf{f}({\mathbf{x}}_{[i]})\text{\hspace{1em}(II-3-4)}$$

---

[点击进入下一章节]