矩阵范数习题

设 $I\in R^{n\times n}$ 为单位矩阵, $A\in R^{n\times n}$,且 $\Vert A\Vert <1$, 证明: $I+A$ 是非奇异的.

要证明矩阵 $I+A$ 是非奇异的，等价于证明 $I+A$ 没有零特征值，即证明方程 $(I+A)x=0$ 仅有平凡解 $x=0$.

方法(1)：

首先，观察到矩阵 $A$ 满足 $\Vert A\Vert <1$.该条件意味着对于所有的向量 $x$，有 $\Vert Ax\Vert \le \Vert A\Vert \cdot \Vert x\Vert <\Vert x\Vert$.

考虑方程 $(I+A)x=0$.这意味着 $x+Ax=0$，因此 $Ax=-x$.因此，我们有
$$\Vert x\Vert =\Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert <\Vert x\Vert ,$$
上式表明唯一使其成立的是 $\Vert x\Vert =0$，即 $x=0$.这说明方程 $(I+A)x=0$ 仅有平凡解.

方法(2)：

使用特征值的性质来证明.设 $\lambda$ 是 $A$ 的一个特征值，对应的特征向量为 $v$，则 $Av=\lambda v$.对于 $I+A$，我们有：
$$(I+A)v=v+Av=v+\lambda v=(1+\lambda )v.$$
因此，$1+\lambda$ 是 $I+A$ 的特征值.由于 $\Vert A\Vert <1$，所有特征值 $\lambda$ 的绝对值都小于 $1$，所以 $1+\lambda$ 不可能为零（因为 $|\lambda |<1$ 意味着 $1+\lambda \ne 0$）.由于 $I+A$ 的所有特征值都非零，$I+A$ 是非奇异的.得证.

也可以采用反证法：

假设 $\mathbf{I}+\mathbf{A}$ 是奇异矩阵, 则存在非零向量 $\mathbf{x}$, 使得$(\mathbf{I}+\mathbf{A})\mathbf{x}=0,$即得$\mathbf{x}=-\mathbf{Ax},$
两边取范数得$\Vert \mathbf{x}\Vert =\Vert -\mathbf{A}\mathbf{x}\Vert =\Vert \mathbf{A}\mathbf{x}\Vert ⩽\Vert \mathbf{A}\Vert \Vert \mathbf{x}\Vert .$ 由于 $\Vert \mathbf{x}\Vert \ne 0$, 所以
$\Vert \mathbf{A}\Vert ⩾1$ ,与条件 $\Vert \mathbf{A}\Vert <1$ 矛盾, 因而矩阵 $\mathbf{I}+\mathbf{A}$ 是非奇异的.

设 $I\in R^{n\times n}$ 为单位矩阵, $A\in R^{n\times n}$,证明: 当 $ |A|<1 $ 时, $ I+A $ 可逆, 且
$$\Vert (I+A{)}^{-1}\Vert \le \frac{1}{1-\Vert A\Vert }.$$

（$\mathbf{I}+\mathbf{A}$ 可逆上一题已经证得）

由于 $\mathbf{I}+\mathbf{A}$ 可逆，所以$(\mathbf{I}+\mathbf{A}{)}^{-1}(\mathbf{I}+\mathbf{A})=\mathbf{I}$. 展开后有$(\mathbf{I}+\mathbf{A}{)}^{-1}+(\mathbf{I}+\mathbf{A}{)}^{-1}\mathbf{A}=\mathbf{I}$.

于是$(\mathbf{I}+\mathbf{A}{)}^{-1}=\mathbf{I}-(\mathbf{I}+\mathbf{A}{)}^{-1}\mathbf{A}$,两边同时取范数得

$$\Vert (\mathbf{I}+\mathbf{A}{)}^{-1}\Vert =\Vert \mathbf{I}-(\mathbf{I}+\mathbf{A}{)}^{-1}\mathbf{A}\Vert ⩽\Vert \mathbf{I}\Vert +\Vert (\mathbf{I}+\mathbf{A}{)}^{-1}\mathbf{A}\Vert ⩽1+\Vert (\mathbf{I}+\mathbf{A}{)}^{-1}\Vert \cdot \Vert \mathbf{A}\Vert ,$$

所以
$$(1-\Vert \mathbf{A}\Vert )\Vert (\mathbf{I}+\mathbf{A}{)}^{-1}\Vert ⩽1⟹\Vert (\mathbf{I}+\mathbf{A}{)}^{-1}\Vert ⩽\frac{1}{1-\Vert \mathbf{A}\Vert }.$$

方法二：利用 $\frac{1}{1+x}=\sum _{n=0}^{\infty }(-1{)}^n{x}^n,x\in (-1,1)$推广到矩阵中

使用级数展开： 当 $\Vert A\Vert <1$ 时，可以考虑使用Neumann级数（即幂级数）展开 $(I+A{)}^{-1}$：
$$(I+A{)}^{-1}=I-A+A^2-A^3+\cdots$$
这个级数在 $\Vert A\Vert <1$ 时收敛.

计算级数的范数：对上述级数每一项的范数求和，可以得到：
$$\Vert (I+A{)}^{-1}\Vert \le \Vert I\Vert +\Vert A\Vert +\Vert A^2\Vert +\Vert A^3\Vert +\cdots$$
利用矩阵的范数性质，有 $\Vert A^k\Vert \le \Vert A{\Vert }^k$，于是：
$$\Vert (I+A{)}^{-1}\Vert \le 1+\Vert A\Vert +\Vert A{\Vert }^2+\Vert A{\Vert }^3+\cdots =\frac{1}{1-\Vert A\Vert }$$
其中使用了几何级数求和公式 $\sum _{k=0}^{\infty }{x}^k=\frac{1}{1-x}$，其中 $|x|<1$.

因此，当 $\Vert A\Vert <1$ 时，$I+A$ 是可逆的，并且有 $\Vert (I+A{)}^{-1}\Vert \le \frac{1}{1-\Vert A\Vert }$.得证.

设 $\mathbf{A}\in R^{n\times n},\mathbf{A}={\mathbf{A}}^T$ ，试证明: $\Vert \mathbf{A}{\Vert }_2\le \Vert \mathbf{A}{\Vert }_{\infty }$

设 ${\lambda }_0$ 是 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 的最大特征值, 对应的特征向量为 $\mathbf{x}\ne 0$, 于是有${\mathbf{A}}^{\mathrm{T}}\mathbf{Ax}={\lambda }_0\mathbf{x},$两边同时取范数得$\Vert {\mathbf{A}}^{\mathrm{T}}\mathbf{Ax}\Vert =\Vert {\lambda }_0\mathbf{x}\Vert ={\lambda }_0\Vert \mathbf{x}\Vert$.由于 $\mathbf{A}={\mathbf{A}}^T$,则

$${\lambda }_0\Vert \mathbf{x}\Vert =\Vert {\mathbf{A}}^2\mathbf{x}\Vert ⩽\Vert {\mathbf{A}}^2\Vert \cdot \Vert \mathbf{x}\Vert ⩽\Vert \mathbf{A}\Vert \cdot \Vert \mathbf{A}\Vert \cdot \Vert \mathbf{x}\Vert =\Vert \mathbf{A}{\Vert }^2\cdot \Vert \mathbf{x}\Vert$$

由于$\mathbf{x}\ne 0$,所以${\lambda }_0⩽\Vert \mathbf{A}{\Vert }^2$.当算子范数取无穷范数时，即有$\Vert \mathbf{A}{\Vert }_{\infty }⩾\sqrt{{\lambda }_0}$.而当算子范数取的是2-范数时，
$$\Vert \mathbf{A}{\Vert }_2=\sqrt{{\lambda }_{\max }({\mathbf{A}}^{\mathrm{T}}\mathbf{A})}=\sqrt{{\lambda }_0}$$

因此
$$\Vert \mathbf{A}{\Vert }_2=\sqrt{{\lambda }_0}⩽\Vert \mathbf{A}{\Vert }_{\infty }.$$

设 $I\mathrm{A}\in R^{n\times n},\Vert A\Vert <1$, 记
$$S_k=I+A+A^2+\cdots +A^k,$$

其中 $I$ 为单位矩阵, 证明:
(1) $I-A$ 可逆;
(2) $\underset{k\to \infty }{\lim }{S}_k=(I-A{)}^{-1}$.

(1) 首先注意到对于任何矩阵 $A$ 和其范数 $\Vert A\Vert$ ，有 $\Vert A\Vert <1$ .我们利用范数的性质来证明 $I-A$ 可逆.
由 $\Vert A\Vert <1$ 可知，矩阵 $A$ 的谱半径 $\rho (A)$ 也小于 1 .这是因为谱半径 (即 $A$ 的最大绝对特征值) 不超过矩阵的任意范数.于是，矩阵 $I-A$ 的特征值为 $1-\lambda$ ，其中 $\lambda$ 是 $A$ 的一个特征值.即有：
$$\left|\lambda \right|⩽\rho (\mathbf{A})⩽\Vert \mathbf{A}\Vert <1$$

因为 $|\lambda |<1$ ，所以 $1-\lambda \ne 0$ ，即 $I-A$ 的所有特征值都不为 0 .这表明 $I-A$ 是非奇异的，即 $I-A$ 可逆.

(2) 我们先计算 $(I-A)S_k$ :
$$\begin{array}{rl}(I-A)S_k& =(I-A)\left(I+A+A^2+\cdots +A^k\right)\\ & =I+A+A^2+\cdots +A^k-\left(A+A^2+A^3+\cdots +A^k+A^{k+1}\right)\\ & =I-A^{k+1}.\end{array}$$
由于 $\Vert A^{k+1}\Vert \le \Vert A{\Vert }^{k+1}$ 且 $\Vert A\Vert <1$ ，所以$\underset{k\to \infty }{\lim }\Vert A{\Vert }^{k+1}=0$, 也即$A^{k+1}$ 当 $k\to \infty$ 时趋向于零矩阵$(\underset{k\to \infty }{\lim }{A}^{k+1}=\mathbf{O})$.因此，有:
$$\underset{k\to \infty }{\lim }(I-A)S_k=\underset{k\to \infty }{\lim }(I-A^{k+1})=I.$$
由于 $I-A$ 可逆，那么左乘其逆矩阵得到:
$$S_k=(I-A{)}^{-1}(I-A)S_k=(I-A{)}^{-1}\left(I-A^{k+1}\right).$$
随着 $k\to \infty ,A^{k+1}\to O$ :
$$\underset{k\to \infty }{\lim }{S}_k=(I-A{)}^{-1}(I-O)=(I-A{)}^{-1}.$$
这样，我们便证明了 $\underset{k\to \infty }{\lim }{S}_k=(I-A{)}^{-1}$.