7.4.2 解的稳定性、病态矩阵、矩阵条件数
根据通解
x
=
x
p
+
x
z
=
b
1
U
/
σ
1
v
1
+
⋯
+
b
r
U
/
σ
r
v
r
+
(
k
1
v
r
+
1
+
⋯
+
k
n
−
r
v
n
)
b
i
U
=
u
i
T
b
为
在
坐
标
系
U
下
的
坐
标
分
量
,
k
i
是
任
意
实
数
\mathbf{x} = \mathbf{x}_p + \mathbf{x}_z = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r + (k_1\mathbf{v}_{r+1} + \cdots + k_{n-r}\mathbf{v}_n)\\b^U_i = \mathbf{u}^T_i\mathbf{b}为在坐标系 U 下的坐标分量,k_i是任意实数
x=xp+xz=b1U/σ1v1+⋯+brU/σrvr+(k1vr+1+⋯+kn−rvn)biU=uiTb为在坐标系U下的坐标分量,ki是任意实数
如果 b \mathbf{b} b 由于测量误差或计算舍入误差变为 b + Δ b \mathbf{b}+\Delta\mathbf{b} b+Δb ,则解也会变为 x + Δ x \mathbf{x} + \Delta\mathbf{x} x+Δx ,由于零解 k i k_i ki 是任意实数,所以如果考虑零解,则 Δ x \Delta\mathbf{x} Δx 由于零解的改变可任意改变,变得毫无意义。所以只考虑特解 x p \mathbf{x}_p xp 的改变量 Δ x p \Delta\mathbf{x}_p Δxp 。
Δ x p = δ b 1 U / σ 1 v 1 + ⋯ + δ b r U / σ r v r \Delta\mathbf{x}_p = \delta b^U_1/\sigma_1\mathbf{v}_1 + \cdots + \delta b^U_r/\sigma_r\mathbf{v}_r Δxp=δb1U/σ1v1+⋯+δbrU/σrvr
因为 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r > 0 σ1≥σ2≥⋯≥σr>0 ,所以当 Δ x p \Delta\mathbf{x}_p Δxp 全部由分量 δ b r U \delta b^U_r δbrU 造成的即 Δ b = ∥ Δ b ∥ u r \Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_r Δb=∥Δb∥ur ,则特解改变量最大,故
m a x Δ x p = δ b r U / σ r v r = u r T Δ b / σ r v r = ∥ Δ b ∥ / σ r v r max \Delta\mathbf{x}_p = \delta b^U_r/\sigma_r\mathbf{v}_r = \mathbf{u}^T_r\Delta\mathbf{b}/\sigma_r\mathbf{v}_r = \|\Delta\mathbf{b}\|/\sigma_r\mathbf{v}_r maxΔxp=δbrU/σrvr=urTΔb/σrvr=∥Δb∥/σrvr
这是特解最大绝对改变量,与最小奇异值成反比。更有意义的是特解相对改变量大小,根据特解 x p = b 1 U / σ 1 v 1 + ⋯ + b r U / σ r v r \mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 + \cdots + b^U_r/\sigma_r\mathbf{v}_r xp=b1U/σ1v1+⋯+brU/σrvr 当 b = ∥ b ∥ u 1 \mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1 b=∥b∥u1 ,特解最小
m i n x p = b 1 U / σ 1 v 1 = u 1 T b / σ 1 v 1 = ∥ b ∥ / σ 1 v 1 min \mathbf{x}_p = b^U_1/\sigma_1\mathbf{v}_1 = \mathbf{u}^T_1\mathbf{b}/\sigma_1\mathbf{v}_1 = \|\mathbf{b}\|/\sigma_1\mathbf{v}_1 minxp=b1U/σ1v1=u1Tb/σ1v1=∥b∥/σ1v1
所以特解最大相对改变量为
m a x ∥ Δ x p ∥ ∥ x p ∥ = ∥ Δ b ∥ / σ r ∥ b ∥ / σ 1 = σ 1 σ r ∥ Δ b ∥ ∥ b ∥ max \frac{\|\Delta\mathbf{x}_p\|}{\|\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|/\sigma_r}{\|\mathbf{b}\|/\sigma_1} = \frac {\sigma_1}{\sigma_r} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|} max∥xp∥∥Δxp∥=∥b∥/σ1∥Δb∥/σr=σrσ1∥b∥∥Δb∥
得到如下结论:
1、特解最大相对改变量与
σ
1
σ
r
≥
1
\frac {\sigma_1}{\sigma_r} \ge 1
σrσ1≥1 成正比且大于
∥
Δ
b
∥
∥
b
∥
\frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}
∥b∥∥Δb∥,即会放大误差。
2、取等号条件为:
b
=
∥
b
∥
u
1
\mathbf{b} = \|\mathbf{b}\|\mathbf{u}_1
b=∥b∥u1 和
Δ
b
=
∥
Δ
b
∥
u
r
\Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_r
Δb=∥Δb∥ur 。
3、所有奇异值
σ
i
=
σ
\sigma_i=\sigma
σi=σ 均相等时,有
m
a
x
∥
Δ
x
p
∥
x
p
∥
=
∥
Δ
b
∥
∥
b
∥
max \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|}
maxxp∥∥Δxp∥=∥b∥∥Δb∥ 任何情况下都不会放大误差,特解最稳定。此时
A
=
U
Σ
V
T
=
σ
U
E
r
′
V
T
A = U \Sigma V^T = \sigma U E'_r V^T
A=UΣVT=σUEr′VT ,例如
A
=
σ
Q
A = \sigma Q
A=σQ ,
Q
Q
Q 为正交矩阵,方程解最稳定。
为此定义如下概念
矩阵条件数 矩阵最大奇异值和最小奇异值之比,记为 c o n d A = σ 1 σ r cond A = \frac {\sigma_1}{\sigma_r} condA=σrσ1 。
病态矩阵 矩阵条件数远大于 1 1 1 的矩阵,病态矩阵容易因为误差而导致解的不稳定。
矩阵条件数具有如下性质: c o n d A = c o n d A T = c o n d A + cond A = cond A^T = cond A^{+} condA=condAT=condA+ , c o n d A T A = c o n d A A T = ( c o n d A ) 2 cond A^TA = cond AA^T = (cond A)^2 condATA=condAAT=(condA)2 。
同理可得特解最小相对改变量为
m i n ∥ Δ x p ∥ x p ∥ = 1 c o n d A ∥ Δ b ∥ ∥ b ∥ min \frac{\|\Delta\mathbf{x}_p\|}{\mathbf{x}_p\|} = \frac {1}{cond A} \frac {\|\Delta\mathbf{b}\|}{\|\mathbf{b}\|} minxp∥∥Δxp∥=condA1∥b∥∥Δb∥
等号条件 b = ∥ b ∥ u r \mathbf{b} = \|\mathbf{b}\|\mathbf{u}_r b=∥b∥ur 和 Δ b = ∥ Δ b ∥ u 1 \Delta\mathbf{b} = \|\Delta\mathbf{b}\|\mathbf{u}_1 Δb=∥Δb∥u1 。
病态矩阵很容易导致特解不稳定,但这只是必要条件不是充分条件,比如特解最小相对改变量小于 1 1 1 缩小了误差,与矩阵条件数成反比,条件数越大特解反而越稳定。所以不是病态矩阵都能导致特解不稳定,要看 b , Δ b \mathbf{b},\Delta\mathbf{b} b,Δb 在坐标系 U U U 中的位置。
如果
A
A
A 由于测量误差或计算舍入误差变为
A
+
Δ
A
A+\Delta A
A+ΔA ,则解也会变为
x
+
Δ
x
\mathbf{x} + \Delta\mathbf{x}
x+Δx ,此时有
(
A
+
Δ
A
)
(
x
+
Δ
x
)
=
b
(A+\Delta A)(\mathbf{x} + \Delta\mathbf{x})=\mathbf{b}
(A+ΔA)(x+Δx)=b 减去
A
x
=
b
A\mathbf{x} = \mathbf{b}
Ax=b 得
A
Δ
x
=
−
Δ
A
(
x
+
Δ
x
)
A\Delta\mathbf{x} = -\Delta A(\mathbf{x} + \Delta\mathbf{x})
AΔx=−ΔA(x+Δx) 假设矩阵
A
A
A 可逆,两边左乘
A
−
1
A^{-1}
A−1 取范数得
∥
Δ
x
∥
=
∥
A
−
1
Δ
A
(
x
+
Δ
x
)
∥
≤
∥
A
−
1
∥
∥
Δ
A
∥
∥
x
+
Δ
x
∥
即
∥
Δ
x
∥
∥
x
+
Δ
x
∥
≤
∥
A
∥
∥
A
−
1
∥
∥
Δ
A
∥
∥
A
∥
因
为
∥
A
∥
∥
A
−
1
∥
=
σ
1
σ
r
=
c
o
n
d
A
所
以
∥
Δ
x
∥
∥
x
+
Δ
x
∥
≤
c
o
n
d
A
∥
Δ
A
∥
∥
A
∥
\|\Delta\mathbf{x}\| = \|A^{-1}\Delta A(\mathbf{x} + \Delta\mathbf{x})\| \le \|A^{-1}\| \|\Delta A\| \|\mathbf{x} + \Delta\mathbf{x}\| \\ \\即 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le \|A\| \|A^{-1}\| \frac{\|\Delta A\|}{\|A\|} \\因为 \|A\| \|A^{-1}\| = \frac {\sigma_1}{\sigma_r} = cond A \\ \\所以 \frac{\|\Delta\mathbf{x}\|}{\|\mathbf{x} + \Delta\mathbf{x}\|} \le cond A \frac{\|\Delta A\|}{\|A\|}
∥Δx∥=∥A−1ΔA(x+Δx)∥≤∥A−1∥∥ΔA∥∥x+Δx∥即∥x+Δx∥∥Δx∥≤∥A∥∥A−1∥∥A∥∥ΔA∥因为∥A∥∥A−1∥=σrσ1=condA所以∥x+Δx∥∥Δx∥≤condA∥A∥∥ΔA∥
得到类似结论,即病态矩阵很容易导致特解不稳定。