（四）矩阵的条件数

1.1 从扰动方程组的敏感性问题引入矩阵条件数

设 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$,$\det A\ne 0$。若方程组 $Ax=b$ 的系数矩阵 $A$ 和右端向量 $b$ 有微小扰动，分别成为 $A+\delta A$和 $b+\delta b$ ,那么实际解的方程组便是：$$(A+\delta A)(x+\delta x)=b+\delta b$$其中 $x=A^{-1}b$ 。我们要问, 当 $||\delta A||$ 和 $||\delta b||$ 都是较小的实数时，$||\delta x||$ 是否也是小的? 这就是在分析扰动方程组的敏感性问题。

某些情况下方程组的解对 $\mathbf{A}$ 或 $b$ 的扰动是敏感的，这时称方程组是病态方程组,或称 $\mathbf{A}$ 是病态矩阵,从下面的定理可知：方程组病态与否完全决定于 $\mathbf{A}$ 。

定理1.1：设 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$,$\det A\ne 0$ 。$x$ 和 $x+\delta x$ 分别满足方程组 $$\{\begin{array}{l}Ax=b\\ (A+\delta A)(x+\delta x)=b+\delta b\end{array}\text{\hspace{1em}(1-1)}$$其中$b\ne 0$。而且 $||\delta A||$ 适当小,使$$||A^{-1}||||\delta A||<1\text{\hspace{1em}(1-2)}$$此时扰动方程组仍有唯一解，且$$\frac{||\delta x||}{||x||}\le \frac{||A||||A^{-1}||}{1-||A^{-1}||||\delta A||}\left(\frac{||\delta A||}{||A||}+\frac{||\delta b||}{||b||}\right)\text{\hspace{1em}(1-3)}$$定理所用到的范数是任一种向量范数及从属于它的矩阵范数.

Remark:可以进一步证明,对于充分小的 $\delta A$,一定存在非零的 $\delta A$ 和 $\delta b$ 使(1-3)中的等号成立,也就是说（2-3）给出了相对误差 $\frac{||\delta x||}{||x||}$ 的上界,它就是最好的估计.

证明：首先需要说明在系数矩阵的扰动满足条件(1-2)时，扰动方程组有唯一解。
根据相容性得： $||A^{-1}\delta A||\le ||A^{-1}||||\delta A||<1$ ,那么由定理可得矩阵 $I+A^{-1}\delta A$ 可逆且
$$||(I+A^{-1}\delta A{)}^{-1}||\le \frac{1}{1-||A^{-1}\delta A||}\le \frac{1}{1-||A^{-1}||||\delta A||}$$故 $A+\delta A$ 可逆，扰动方程组有唯一解$$x+\delta x=(A+\delta A{)}^{-1}(b+\delta b)$$那么$$\delta x=(A+\delta A{)}^{-1}[(b+\delta b)-(A+\delta A{)}^{-1}x]=(I+A^{-1}\delta A{)}^{-1}{A}^{-1}[\delta b-\delta Ax]$$根据算子范数的相容性可得：$$\begin{array}{rl}||\delta x||& \le ||(I+A^{-1}\delta A{)}^{-1}||||A^{-1}||||\delta b-\delta Ax||\\ & \le \frac{||A^{-1}||}{1-||A^{-1}||||\delta A||}(||\delta b||+||\delta Ax||)\\ & \le \frac{||A^{-1}||}{1-||A^{-1}||||\delta A||}\left(\frac{||\delta b||}{||b||}||Ax||+||\delta Ax||\right)\\ & \le \frac{||A^{-1}||}{1-||A^{-1}||||\delta A||}\left(\frac{||\delta b||}{||b||}||A||||x||+||\delta A||||x||\right)\end{array}$$故$$\frac{||\delta x||}{||x||}\le \frac{||A||||A^{-1}||}{1-||A^{-1}||||\delta A||}\left(\frac{||\delta A||}{||A||}+\frac{||\delta b||}{||b||}\right)$$

（证毕）

定义1.1: 设 $\mathbf{A}$ 是 $n$ 阶非奇异矩阵，称数 $$Cond(\mathbf{A}{)}_v=||\mathbf{A}|{|}_v||{\mathbf{A}}^{-1}|{|}_v\text{\hspace{1em}(1-2)}$$为矩阵 $\mathbf{A}$ 的条件数，其中 $||\cdot |{|}_v$ 为 ${\mathbb{R}}^{n\times n}$ 中的某种算子范数。

定理1.2：设 $A\in {\mathbb{R}}^{n\times n},\det A\ne 0$ 且 $b\in {\mathbb{R}}^n,b\ne 0$ 。$x$ 是方程组 $Ax=b$ 的精确解，$\hat{x}$ 为方程组的一个近似解，残差记为 $r\triangleq b-A\hat{x}$ ,则有：$$\frac{1}{Cond(A)}\frac{||r||}{||b||}\le \frac{||\hat{x}-x||}{||x||}\le Cond(A)\frac{||r||}{||b||}\text{\hspace{1em}(1-3)}$$定理所用到的范数是任一种向量范数及从属于它的矩阵范数.

Remark: 该定理表明：若方程组是病态的，即系数矩阵的条件数较大时，即使残差向量的范数比较小，解的相对误差仍可能较大。这在数值计算设置停机条件时具有指导意义。

证明：由 $Ax=b,A\hat{x}=b-r$ 得：$$A(\hat{x}-x)=-r⟹\hat{x}-x=-A^{-1}r$$故$$||\hat{x}-x||=||A^{-1}r||\le ||A^{-1}||||r||$$又 $||b||=||Ax||\le ||A||||x||⟹\frac{1}{||x||}\le \frac{||A||}{||b||}$ , 则$$\frac{||\hat{x}-x||}{||x||}\le \frac{||A||||A^{-1}||||r||}{||b||}=Cond(A)\frac{||r||}{||b||}$$继续证明左端的不等式：$$\frac{||\hat{x}-x||}{||x||}=\frac{||A||||\hat{x}-x||}{||A||||x||}\ge \frac{||A\hat{x}-Ax||}{||A||||A^{-1}(Ax)||}=\frac{||r||}{||A||||A^{-1}b||}\ge \frac{||r||}{||A||||A^{-1}||||b||}$$

（证毕）

1.2 矩阵条件数的性质

性质2.1：$Cond(A)=Cond(A^{-1})$；
性质2.2：$Cond(\alpha A)=Cond(A),\forall \alpha \in \mathbb{R},\alpha \ne 0$;
性质2.3：$Cond(A)\ge 1$;

证明：根据算子范数的定义：$$Cond(A)=||A||||A^{-1}||\ge ||I||=\underset{||x||=1}{\sup }||Ix||=1$$

（证毕）

性质2.4：谱条件数满足：$$Cond(A{)}_2=\sqrt{\frac{{\lambda }_{\max }(A^{T}A)}{{\lambda }_{\min }(A^{T}A)}}=\sqrt{\frac{{\lambda }_{\max }(A{A}^T)}{{\lambda }_{\min }(A{A}^T)}}$$若 $Q$ 为正交矩阵，则 $Cond(Q{)}_2=1$，$Cond(A{)}_2=Cond(AQ{)}_2=Cond(QA{)}_2$;
若 $S$ 为对称矩阵，则 $Cond(S{)}_2=\frac{|{\lambda }_n|}{|{\lambda }_1|}$,其中 $|{\lambda }_1|\le |{\lambda }_2|\le \cdots \le |{\lambda }_n|$ 为 $S$ 特征值的模。

证明：根据 $||A|{|}_2=\sqrt{{\lambda }_{\max }(A^{T}A)}$ ,且$A^{T}A$,$A{A}^T$为对称正定矩阵得：$$||A^{-1}|{|}_2=\sqrt{{\lambda }_{\max }(A^{-T}{A}^{-1})}=\sqrt{{\lambda }_{\max }(A{A}^T{)}^{-1}}=\frac{1}{\sqrt{{\lambda }_{\min }(A{A}^T)}}$$故$$Cond(A{)}_2=||A|{|}_2||A^{-1}|{|}_2=\sqrt{\frac{{\lambda }_{\max }(A^{T}A)}{{\lambda }_{\min }(A{A}^T)}}$$又由于矩阵 $BD$ 与矩阵 $DB$ 具有相同的特征值，故结论及其推论显然成立。

（证毕）

性质2.5：设 $A$ 特征值的模满足 $|{\lambda }_1|\le |{\lambda }_2|\le \cdots \le |{\lambda }_n|$ ，则$$Cond(A)\ge \frac{|{\lambda }_n|}{|{\lambda }_1|}$$

性质2.6：根据矩阵范数的等价性可得不同范数对应的条件数之间的关系,如$$\{\begin{array}{l}\frac{1}{n}Cond(A{)}_2\le Cond(A{)}_1\le nCond(A{)}_2\\ \frac{1}{n}Cond(A{)}_{\infty }\le Cond(A{)}_2\le nCond(A{)}_{\infty }\\ \frac{1}{n^2}Cond(A{)}_1\le Cond(A{)}_{\infty }\le n^{2}Cond(A{)}_1\end{array}$$

1.3 矩阵条件数的几何意义

定理3.1：记奇异矩阵构成的集合为 S = { B ∈ R n × n ∣ det ⁡ B = 0 } S=\{B\in\mathbb{R}^{n\times n}|\det B=0\} S={B∈Rn×n∣detB=0} ，那么"非奇异矩阵 $A$ 的条件数 $Cond(A{)}_v$ 的倒数"可视为 $A$ 到 $S$ 的最小相对距离，即$$\frac{1}{Cond(A{)}_v}=\underset{A+\delta A\in S}{\min }\frac{||\delta A|{|}_v}{||A|{|}_v}\text{\hspace{1em}(3-1)}$$定理所用到的范数是任一种向量范数及从属于它的矩阵范数.

Remark: 上述定理表明：当 $A$ 的条件数越大时，$A$ 与奇异矩阵的相对距离就越小，$A$ 就越病态。

证明：若 $||A^{-1}||||\delta A||<1$ ，则 $(A+\delta A)\notin S$ ，故$$||A^{-1}||||\delta A||\ge 1⟹||\delta A||\ge \frac{1}{||A^{-1}||}⟹\frac{||\delta A||}{||A||}\ge \frac{1}{Cond(A)}\text{\hspace{1em}(*)}$$下面构造性的证明上述不等式可以取等号，利用算子范数的性质：$$\exists x\in {\mathbb{R}}^n\text{且}||x||=1,s.t.||A^{-1}x||=||A^{-1}||$$构造 $$\delta A=-\frac{x{y}^T}{||A^{-1}||},y=\frac{A^{-1}x}{||A^{-1}x||}=\frac{A^{-1}x}{||A^{-1}||}$$首先验证所构造出的 $\delta A$ 满足 $A+\delta A\in S$，由于$$(A+\delta A)y=Ay+\delta Ay=\frac{x}{||A^{-1}||}-\frac{x{y}^{T}y}{||A^{-1}||}=0$$且 $||y||=1⟹y\ne 0$ .故上述齐次方程组有非零解，系数矩阵奇异。进一步验证所构造的 $\delta A$ 可以使得 $(\ast )$ 取等号：$$\begin{array}{rl}||\delta A||& =\underset{||z||=1}{\sup }\Vert \delta Az\Vert =\underset{||z||=1}{\sup }\Vert \frac{x{y}^T}{||A^{-1}||}z\Vert =\frac{1}{||A^{-1}||}\underset{||z||=1}{\sup }\Vert x{y}^{T}z\Vert \\ & =\frac{||x||}{||A^{-1}||}\underset{||z||=1}{\sup }\left|y^{T}z\right|=\frac{1}{||A^{-1}||}\underset{||z||=1}{\sup }\left|y^{T}z\right|\end{array}$$由于 $||y||=1$,$||z||=1$，故$$\underset{||z||=1}{\sup }\left|y^{T}z\right|=1$$那么所构造的 $\delta A$ 满足：$$||\delta A||=\frac{1}{||A^{-1}||}⟹\frac{||\delta A||}{||A||}=\frac{1}{Cond(A)}$$

（证毕）