7.4.2 解的稳定性、病态矩阵、矩阵条件数

7.4.2 解的稳定性、病态矩阵、矩阵条件数

根据通解
$$\begin{gathered} \mathbf{x}={\mathbf{x}}_p+{\mathbf{x}}_z=b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +b_r^U/{\sigma }_r{\mathbf{v}}_r+(k_1{\mathbf{v}}_{r+1}+\cdots +k_{n-r}{\mathbf{v}}_n) \\ {b}_i^U={\mathbf{u}}_i^T\mathbf{b}为在坐标系U下的坐标分量,k_i是任意实数 \end{gathered}$$

如果 $\mathbf{b}$ 由于测量误差或计算舍入误差变为 $\mathbf{b}+\Delta \mathbf{b}$ ，则解也会变为 $\mathbf{x}+\Delta \mathbf{x}$ ，由于零解 $k_i$ 是任意实数，所以如果考虑零解，则 $\Delta \mathbf{x}$ 由于零解的改变可任意改变，变得毫无意义。所以只考虑特解 ${\mathbf{x}}_p$ 的改变量 $\Delta {\mathbf{x}}_p$ 。

$$\Delta {\mathbf{x}}_p=\delta b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +\delta b_r^U/{\sigma }_r{\mathbf{v}}_r$$

因为 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ ，所以当 $\Delta {\mathbf{x}}_p$ 全部由分量 $\delta b_r^U$ 造成的即 $\Delta \mathbf{b}=\Vert \Delta \mathbf{b}\Vert {\mathbf{u}}_r$ ，则特解改变量最大，故

$$max\Delta {\mathbf{x}}_p=\delta b_r^U/{\sigma }_r{\mathbf{v}}_r={\mathbf{u}}_r^T\Delta \mathbf{b}/{\sigma }_r{\mathbf{v}}_r=\Vert \Delta \mathbf{b}\Vert /{\sigma }_r{\mathbf{v}}_r$$

这是特解最大绝对改变量，与最小奇异值成反比。更有意义的是特解相对改变量大小，根据特解 ${\mathbf{x}}_p=b_1^U/{\sigma }_1{\mathbf{v}}_1+\cdots +b_r^U/{\sigma }_r{\mathbf{v}}_r$ 当 $\mathbf{b}=\Vert \mathbf{b}\Vert {\mathbf{u}}_1$ ，特解最小

$$min{\mathbf{x}}_p=b_1^U/{\sigma }_1{\mathbf{v}}_1={\mathbf{u}}_1^T\mathbf{b}/{\sigma }_1{\mathbf{v}}_1=\Vert \mathbf{b}\Vert /{\sigma }_1{\mathbf{v}}_1$$

所以特解最大相对改变量为

$$max\frac{\Vert \Delta {\mathbf{x}}_p\Vert }{\Vert {\mathbf{x}}_p\Vert }=\frac{\Vert \Delta \mathbf{b}\Vert /{\sigma }_r}{\Vert \mathbf{b}\Vert /{\sigma }_1}=\frac{{\sigma }_1}{{\sigma }_r}\frac{\Vert \Delta \mathbf{b}\Vert }{\Vert \mathbf{b}\Vert }$$

得到如下结论：
1、特解最大相对改变量与 $\frac{{\sigma }_1}{{\sigma }_r}\ge 1$ 成正比且大于 $\frac{\Vert \Delta \mathbf{b}\Vert }{\Vert \mathbf{b}\Vert }$，即会放大误差。
2、取等号条件为：$\mathbf{b}=\Vert \mathbf{b}\Vert {\mathbf{u}}_1$ 和 $\Delta \mathbf{b}=\Vert \Delta \mathbf{b}\Vert {\mathbf{u}}_r$ 。
3、所有奇异值 ${\sigma }_i=\sigma$ 均相等时，有 $max\frac{\Vert \Delta {\mathbf{x}}_p\Vert }{{\mathbf{x}}_p\Vert }=\frac{\Vert \Delta \mathbf{b}\Vert }{\Vert \mathbf{b}\Vert }$ 任何情况下都不会放大误差，特解最稳定。此时 $A=U\Sigma V^T=\sigma U{E}_r^{\prime }{V}^T$ ，例如 $A=\sigma Q$ ，$Q$ 为正交矩阵，方程解最稳定。

为此定义如下概念

矩阵条件数 矩阵最大奇异值和最小奇异值之比，记为 $condA=\frac{{\sigma }_1}{{\sigma }_r}$ 。

病态矩阵 矩阵条件数远大于 $1$ 的矩阵，病态矩阵容易因为误差而导致解的不稳定。

矩阵条件数具有如下性质：$condA=cond{A}^T=cond{A}^{+}$ ，$cond{A}^{T}A=condA{A}^T=(condA{)}^2$ 。

同理可得特解最小相对改变量为

$$min\frac{\Vert \Delta {\mathbf{x}}_p\Vert }{{\mathbf{x}}_p\Vert }=\frac{1}{condA}\frac{\Vert \Delta \mathbf{b}\Vert }{\Vert \mathbf{b}\Vert }$$

等号条件 $\mathbf{b}=\Vert \mathbf{b}\Vert {\mathbf{u}}_r$ 和 $\Delta \mathbf{b}=\Vert \Delta \mathbf{b}\Vert {\mathbf{u}}_1$ 。

病态矩阵很容易导致特解不稳定，但这只是必要条件不是充分条件，比如特解最小相对改变量小于 $1$ 缩小了误差，与矩阵条件数成反比，条件数越大特解反而越稳定。所以不是病态矩阵都能导致特解不稳定，要看 $\mathbf{b},\Delta \mathbf{b}$ 在坐标系 $U$ 中的位置。

如果 $A$ 由于测量误差或计算舍入误差变为 $A+\Delta A$ ，则解也会变为 $\mathbf{x}+\Delta \mathbf{x}$ ，此时有 $(A+\Delta A)(\mathbf{x}+\Delta \mathbf{x})=\mathbf{b}$ 减去 $A\mathbf{x}=\mathbf{b}$ 得 $A\Delta \mathbf{x}=-\Delta A(\mathbf{x}+\Delta \mathbf{x})$ 假设矩阵 $A$ 可逆，两边左乘 $A^{-1}$ 取范数得
$$\begin{gathered} \Vert \Delta \mathbf{x}\Vert =\Vert A^{-1}\Delta A(\mathbf{x}+\Delta \mathbf{x})\Vert \le \Vert A^{-1}\Vert \Vert \Delta A\Vert \Vert \mathbf{x}+\Delta \mathbf{x}\Vert \\ 即\frac{\Vert \Delta \mathbf{x}\Vert }{\Vert \mathbf{x}+\Delta \mathbf{x}\Vert }\le \Vert A\Vert \Vert A^{-1}\Vert \frac{\Vert \Delta A\Vert }{\Vert A\Vert } \\ 因为\Vert A\Vert \Vert A^{-1}\Vert =\frac{{\sigma }_1}{{\sigma }_r}=condA \\ 所以\frac{\Vert \Delta \mathbf{x}\Vert }{\Vert \mathbf{x}+\Delta \mathbf{x}\Vert }\le condA\frac{\Vert \Delta A\Vert }{\Vert A\Vert } \end{gathered}$$

得到类似结论，即病态矩阵很容易导致特解不稳定。