【矩阵论】6.总结2

6. 总结2

4. 矩阵分解 两个矩阵 LU分解 QR分解 满秩分解 奇异值分解

LU 分解 （Gauss消去法，待定系数法 ）

在 Gauss 消去过程中有
$\mathbf{A}={\mathbf{L}}_1^{-1}{\mathbf{L}}_2^{-1}\cdot \cdot \cdot {\mathbf{L}}_{n-1}^{-1}{\mathbf{A}}^{(n)}.$ ${\mathbf{L}}_i^{-1}=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & l_{i+1,i}& 1& & \\ & & \dots & & \ddots & \\ & & l_{n,i}& & & 1\end{array}\right],i=1,2,\cdots ,n-1$

记 $L=L_1^{-1}{L}_2^{-1}...L_{n-1}^{-1}$ 是单位下三角矩阵，$U=A^{(n)}$ 是一个上三角矩阵，则有 $A=LU$ .

Doolittle 分解 充要条件 $A$ 的各阶顺序主子阵均不为零.

1.Doolittle 分解 $A=LU$ , 这里 $L$ 是单位下三角矩阵，$U$ 是上三角矩阵

2.Crout 分解 $A=LU$ , 这里 $L$ 是下三角矩阵，$U$ 是单位上三角矩阵.

3.LDU 分解 $A=LDU$ , 这里 $L$ 是单位下三角矩阵，$D$ 是对角矩阵，$U$ 是单位上三角矩阵.

尽管矩阵的三角分解不唯一，但是矩阵所有顺序主子式均不等于零时，这三种三角分解具有唯一性。

例 6.1 已知 $\mathbf{A}=\left[\begin{array}{ccc}2& 3& 4\\ -2& 0& 2\\ 2& -3& -3\end{array}\right],$计算矩阵 $A$ 的 Doolittle 分解 （Gauss消去法，待定系数法 ）
解 初等变换 ${\mathbf{L}}_1=\left[\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ -1& 0& 1\end{array}\right],{\mathbf{L}}_1\mathbf{A}=\left[\begin{array}{ccc}2& 3& 4\\ 0& 3& 6\\ 0& -6& -7\end{array}\right]$
同理 ${\mathbf{L}}_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 2& 1\end{array}\right],{\mathbf{L}}_2{\mathbf{L}}_1\mathbf{A}=\left[\begin{array}{ccc}2& 3& 4\\ 0& 3& 6\\ 0& 0& 5\end{array}\right]$
则 $\mathbf{L}={\mathbf{L}}_1^{-1}{\mathbf{L}}_2^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ -1& 1& 0\\ 1& -2& 1\end{array}\right],\mathbf{U}=\left[\begin{array}{ccc}2& 3& 4\\ 0& 3& 6\\ 0& 0& 5\end{array}\right]$

Cholesky 分解(对称正定矩阵) （待定系数法）

若 $A\in {\mathbf{R}}^{n\times n}$ 为对称正定矩阵，则存在唯一的对角元素均为正的下三角矩阵 $G$ , 使得 $A=G{G}^{\mathrm{T}}$ , 这样的分解称为对称正定矩阵的 Cholesky 分解.

例 6.3 计算矩阵 A 的 Choleskey 分解 ,$\mathbf{A}=\left[\begin{array}{ccc}4& 2& -2\\ 2& 2& -3\\ -2& -3& 14\end{array}\right].$
解 设 A 的 Choleskey 矩阵分解 $A={\mathbf{GG}}^{\mathrm{T}}$, 其中 $\mathbf{G}=\left[\begin{array}{ccc}{g}_{11}& 0& 0\\ g_{21}& g_{22}& 0\\ g_{31}& g_{32}& g_{33}\end{array}\right].$
根据计算，$\begin{array}{rl}& g_{11}=\sqrt{4}=2;g_{21}=2/2=1;g_{31}=-2/2=1,\\ & g_{22}=\sqrt{2-1}=1;g_{32}=-2,\\ & g_{33}=\sqrt{14-1-4}=3.\end{array}$由此可得 $\mathbf{G}=\left[\begin{array}{ccc}2& & \\ 1& 1& \\ -1& -2& 3\end{array}\right].$

正交三角分解（QR分解）

正交矩阵 $Q{Q}^{\mathrm{T}}=Q^{\mathrm{T}}Q=E$
正交矩阵的性质：$(1)Q^{-1}=Q^{\mathrm{T}};$$(2)\det (Q)=\pm 1;$ $(3)Qx$ 的长度与 $x$ 的长度相等.
反射矩阵( Householder 变换)设 $w\in {\mathbf{R}}^n$ , 且 $\Vert w{\Vert }_2=1$ , 则 $P=I-2w{w}^{\mathrm{T}}$ 称为 Householder 变换

给定矩阵 $A\in {\mathbf{R}}^{n\times n}$ , 若存在 正交矩阵 $Q\in {\mathbb{R}}^{n\times n}$ 和 上三角矩阵 $R\in {\mathbf{R}}^{n\times n}$ 使得 $A=QR$ , 这种分解称为矩阵的一个正交三角分解，又称 $QR$ 分解 .

例 用 Gram-Schmidt 正交化过程 计算矩阵 $A$ 的正交三角分解. $\mathbf{A}=\left(\begin{array}{ccc}2& -2& -1\\ 2& 7& 2\\ 1& 8& 7\end{array}\right).$
解 令矩阵 $A=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3)$ , 证 3 个 $n$ 阶向量 ${\alpha }_1,{\alpha }_2,{\alpha }_3$ 线性无关，
  ~  
$\begin{array}{rl}& {\beta }_1=\frac{{\alpha }_1}{||{\alpha }_1|{|}_2}=(\frac{2}{3}\frac{2}{3}\frac{1}{3}{)}^T\\ & {\hat{\beta }}_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{|{\beta }_1{|}^2}{\beta }_1=\left[\begin{array}{c}-6\\ 3\\ 6\end{array}\right],{\beta }_2=\frac{{\hat{\beta }}_2}{{\hat{\beta }}_2}=(-\frac{2}{3}\frac{1}{3}\frac{2}{3}{)}^T\\ & {\hat{\beta }}_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_2)}{|{\beta }_2{|}^2}{\beta }_2-\frac{({\alpha }_3,{\beta }_1)}{|{\beta }_1{|}^2}{\beta }_1=\left[\begin{array}{c}1\\ -2\\ 2\end{array}\right],{\beta }_3=\frac{{\hat{\beta }}_3}{{\hat{\beta }}_3}=(\frac{1}{3}-\frac{2}{3}\frac{2}{3}{)}^T\end{array}$
用 Schmidt 正交化方法可构造 $Q=({\beta }_1,{\beta }_2,{\beta }_3)$ , 可知 $Q^{H}Q=I$ 。而 $R=Q^{H}A$ 。
  ~  
或者 $({\alpha }_1,{\alpha }_2,{\alpha }_3)=(q_1,q_2,q_3)\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ 0& r_{22}& r_{23}\\ 0& 0& r_{33}\end{array}\right),$ 即 $\begin{array}{rl}& {\alpha }_1=r_{11}{\mathbf{q}}_1,\\ & {\alpha }_2=r_{12}{\mathbf{q}}_1+r_{22}{\mathbf{q}}_2,\\ & {\alpha }_3=r_{13}{\mathbf{q}}_1+r_{23}{\mathbf{q}}_2+r_{33}{\mathbf{q}}_3.\end{array}$
经计算, 有 $\begin{array}{rl}& r_{11}=||{\alpha }_1|{|}_2=\sqrt{2^2+2^2+1^2}=3,{\mathbf{q}}_1=\frac{{\alpha }_1}{||{\alpha }_1|{|}_2}=(\frac{2}{3}\frac{2}{3}\frac{1}{3}{)}^T\\ & r_{12}=({\mathbf{\alpha }}_2,{\mathbf{q}}_1)=6,{\bar{\mathbf{q}}}_2={\mathbf{\alpha }}_2-r_{12}{\mathbf{q}}_1=\left[\begin{array}{c}-6\\ 3\\ 6\end{array}\right],r_{22}=||{\bar{\mathbf{q}}}_2|{|}_2=9,{\mathbf{q}}_2=\frac{{\bar{\mathbf{q}}}_2}{r_{22}}=\left[\begin{array}{c}-\frac{2}{3}\\ \frac{1}{3}\\ \frac{2}{3}\end{array}\right].\\ .& \end{array}$
同理 最后可得 $\mathbf{Q}=\frac{1}{3}\left[\begin{array}{ccc}2& -2& 1\\ 2& 1& -2\\ 1& 2& 2\end{array}\right],\mathbf{R}=\left[\begin{array}{ccc}3& 6& 3\\ 0& 9& 6\\ 0& 0& 3\end{array}\right].$

满秩分解

高低分解
设 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 且 r a n k ( A ) = r ⩽ min ⁡ { m , n } \mathrm{rank}(\mathbf A)=r\leqslant\min\{m,n\} rank(A)=r⩽min{m,n} , 则可将 $\mathbf{A}$ 作满秩分解 $\mathbf{A}=\mathbf{CD}$
其中，$\mathbf{C}\in {\mathbb{R}}^{m\times r},\mathbf{D}\in {\mathbb{R}}^{r\times n}$, 且 $\mathrm{rank}(\mathbf{C})=\mathrm{rank}(\mathbf{D})=r.$

例 3.3.2 $\begin{array}{rl}& A=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3,{\mathbf{\alpha }}_4,{\mathbf{\alpha }}_5)=\left[\begin{array}{ccccc}2& 1& 6& 1& 0\\ 3& 2& 10& 1& 0\\ 2& 3& 10& -1& 3\\ 4& 4& 16& 0& 1\end{array}\right]\end{array}$，求矩阵 $A$ 的满秩分解 .
解 先用行初等变换把矩阵 $A$ 化为简化阶梯形 $\left|\begin{array}{ccccc}1& 0& 2& 1& 0\\ 0& 1& 2& -1& 0\\ 0& 0& 0& 0& 1\\ 0& 0& 0& 0& 0\end{array}\right|=({\mathbf{\beta }}_1,{\mathbf{\beta }}_2,{\mathbf{\beta }}_3,{\mathbf{\beta }}_4,{\mathbf{\beta }}_5)=\left(\begin{array}{c}\mathbf{D}\\ \mathbf{O}\end{array}\right)$ , 其中，$\mathbf{D}=\left[\begin{array}{ccccc}1& 0& 2& 1& 0\\ 0& 1& 2& -1& 0\\ 0& 0& 0& 0& 1\end{array}\right]$是 $3\times 5$ 行满秩阵.显然 ${\beta }_1,{\beta }_2,{\beta }_5$ 线性无关，且 $p_3=2{\mathbf{\beta }}_1+2{\mathbf{\beta }}_2,{\mathbf{\beta }}_4={\mathbf{\beta }}_1-{\mathbf{\beta }}_2$ .由于行初等变换保持矩阵列向量组的线性组合关系，因此 ${\alpha }_1,{\alpha }_2,{\alpha }_5$ 线性无关，且${\mathbf{\alpha }}_3=2{\mathbf{\alpha }}_1+2{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_4={\mathbf{\alpha }}_1-{\mathbf{\alpha }}_2$. 取 $\mathbf{C}=({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_5)=\left|\begin{array}{ccc}2& 1& 0\\ 3& 2& 0\\ 2& 3& 3\\ 4& 4& 1\end{array}\right|$, 显然 $C$ 是 $4\times 3$ 列满秩阵，
且满足$\begin{array}{rl}\mathbf{CD}& =({\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_5)\left[\begin{array}{ccccc}1& 0& 2& 1& 0\\ 0& 1& 2& -1& 0\\ 0& 0& 0& 0& 1\end{array}\right]\\ & =({\alpha }_1,{\alpha }_2,2{\alpha }_1+2{\alpha }_2,{\alpha }_1-{\alpha }_2,{\alpha }_5)\\ & =({\alpha }_1,{\alpha }_2,{\alpha }_3,{\alpha }_4,{\alpha }_5)\\ & =\mathbf{A}\end{array}$

谱分解

给定矩阵 $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 是一个正规矩阵，若存在可逆矩阵 $\mathbf{P}\in {\mathbb{R}}^{n\times n}$ 和对角矩阵 Λ = diag ⁡ { λ 1 , λ 2 , ⋯   , λ n } ∈ R n × n \boldsymbol{\Lambda}=\operatorname{diag}\{\lambda_1,\lambda_2,\cdots,\lambda_n\}\in\mathbf{R}^{n\times n} Λ=diag{λ1​,λ2​,⋯,λn​}∈Rn×n 使得$A=P\Lambda P^{-1},$ 这种分解称为矩阵 $\mathbf{A}$ 的一个谱分解.

定义 3.4.1 设矩阵 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$ , 若 $\mathbf{A}{\mathbf{A}}^{\mathrm{H}}={\mathbf{A}}^{\mathrm{H}}\mathbf{A}$ , 则称 $\mathbf{A}$ 为 正规矩阵.

定理 3.4.2 设矩阵 $\mathbf{A}\in {\mathbb{C}}^{n\times n}$ ,则 $\mathbf{A}$ 是正规矩阵当且仅当 $\mathbf{A}$ 有 $n$ 个两两正交的单位特征向量。

证 首先 $AX={\lambda }_{1}X$ 可得 $A^{H}X={\overline{\lambda }}_{1}X$.
引理1：$AX=0\iff ||AX||=0\iff X^{H}A{A}^{H}X=0\iff A^{H}X=0$
引理2：若$A$ 正规 $AX=\lambda X\Rightarrow A^{H}X=\overline{\lambda }X$
        ~~~~~~~        只 需 证 $(A-\lambda I{)}^{H}X=0$,
        ~~~~~~~         由 $(A-\lambda I)X=0\Rightarrow {\left((A-\lambda I)X\right)}^H(A-\lambda I)X=0\Rightarrow X^H(A-\lambda I{)}^H(A-\lambda I)X=0$
        ~~~~~~~         由于 $A-\lambda I$ 正规，$(A-\lambda I{)}^H(A-\lambda I)=(A-\lambda I)(A-\lambda I{)}^H$
        ~~~~~~~         即有 $X^H((A-\lambda I{)}^H{)}^H(A-\lambda I{)}^{H}X=0$
        ~~~~~~~         $\Rightarrow ((A-\lambda I{)}^{H}X{)}^H(A-\lambda I{)}^{H}X=|(A-\lambda I{)}^{H}X{|}^2=0$
        ~~~~~~~         $\Rightarrow (A-\lambda I{)}^{H}X=0\Rightarrow (A^H-\overline{\lambda }I)X=0\Rightarrow A^{H}X=\overline{\lambda }X$
        ~~~~~~~         故结论得证，若 $A$ 正规，则 $AX=\lambda X⟺A^{H}X=\overline{\lambda }X$
        ~~~~~~~         其中，若 λ ( A ) = { λ 1 , ⋯   , λ n } \lambda(A)=\{\lambda_1,\cdots,\lambda_n\} λ(A)={λ1​,⋯,λn​},则 λ ( A H ) = { λ 1 ‾ , ⋯   , λ n ‾ } \lambda(A^H)=\{\overline{\lambda_1},\cdots,\overline{\lambda_n}\} λ(AH)={λ1​​,⋯,λn​​}
下证 $Ax={\lambda }_{1}x,Ay={\lambda }_{2}y$，$x^{H}y=0$
$y^{H}Ax=y^H{\lambda }_{1}x={\lambda }_1{y}^{H}x$
$=(A^{H}y{)}^{H}x$ $=({\overline{\lambda }}_{2}y{)}^{H}x$ $=({\overline{\lambda }}_{2}y{)}^{H}x$
$={\lambda }_2{y}^{H}x$

例 3.4.6 设 $\mathbf{A}=\left[\begin{array}{ccc}4& -6& 0\\ 2& -3& 0\\ -2& 3& 2\end{array}\right]$ , 求 $\mathbf{A}$ 的谱分解.
先求 $\mathbf{A}$ 的特征值和特征向量. $\mid \lambda E-A\mid =$ $=\lambda (\lambda -2)\left(\lambda -1\right)$ , 因此，$\mathbf{A}$ 有3个不同的特征值 ${\lambda }_1=0,{\lambda }_2=1,{\lambda }_3=2$ , 故 $\mathbf{A}$ 可对角化，从而 $\mathbf{A}$ 的谱分解一定存在.容易求出它们对应的特征向量为
$$p_1=(3,2,0{)}^{\mathrm{T}},p_2=(2,1,1{)}^{\mathrm{T}},p_3=(0,0,1{)}^{\mathrm{T}}.$$令 $\mathbf{P}=(p_1,p_2,p_3)=\left[\begin{array}{ccc}3& 2& 0\\ 2& 1& 0\\ 0& 1& 1\end{array}\right]$ ，显然 , $P$ 可逆,且易求得 ${\mathbf{P}}^{-1}=\left(\begin{array}{c}{\mathbf{\beta }}_1^{\mathrm{T}}\\ {\mathbf{\beta }}_2^{\mathrm{T}}\\ {\mathbf{\beta }}_3^{\mathrm{T}}\end{array}\right)=\left(\begin{array}{ccc}-1& 2& 0\\ 2& -3& 0\\ -2& 3& 1\end{array}\right)$。
这样有
$\begin{array}{rl}& \mathbf{A}=\mathbf{P}\left(\begin{array}{ccc}0& & \\ & 1& \\ & & 2\end{array}\right){\mathbf{P}}^{-1}=({\mathbf{p}}_1,{\mathbf{p}}_2,{\mathbf{p}}_3)\left(\begin{array}{ccc}0& & \\ & 1& \\ & & 2\end{array}\right)\left(\begin{array}{c}{\mathbf{\beta }}_1^{\mathrm{T}}\\ {\mathbf{\beta }}_2^{\mathrm{T}}\\ {\mathbf{\beta }}_3^{\mathrm{T}}\end{array}\right)=p_2{\beta }_2^{\mathrm{T}}+2p_3{\beta }_3^{\mathrm{T}},\end{array}$

奇异值分解

设 $\mathbf{A}\in {\mathbf{R}}^{m\times n}$ , 半正定矩阵 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 的 $n$ 个特征值记为 ${\lambda }_i,i=1,2,...,n$ , 显然 ${\lambda }_i⩾0$ . 称 ${\lambda }_i$ 的算术平方根 ${\sigma }_i=\sqrt{{\lambda }_i}$ ($i=1,2,...,n)$为矩阵 $\mathbf{A}$ 的 奇异值.

定理 3.5.2 (奇异值分解定理) 设矩阵 $\mathbf{A}\in {\mathbf{R}}^{m\times n}$ 的奇异值中有 $r$ 个不等于零，记为 ${\sigma }_1⩾$ ${\sigma }_2\ge \cdots \ge {\sigma }_r>0.$ 它们构成的 $r$ 阶对角阵记为 D = diag ⁡ { σ 1 , σ 2 , ⋯   , σ r } D=\operatorname{diag}\{\sigma_1,\sigma_2,\cdots,\sigma_r\} D=diag{σ1​,σ2​,⋯,σr​} . 令 $m\times n$ 阶矩阵 $\mathbf{\Sigma }=\left(\genfrac{}{}{0ex}{}{\mathbf{D}\mathbf{O}}{\mathbf{O}\mathbf{O}}\right)$ , 则存在正交矩阵 $\mathbf{U}\in {\mathbb{R}}^{m\times m},\mathbf{V}\in {\mathbb{R}}^{n\times n}$ ,使
$$A=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}.$$

例 6.10 求矩阵 $\mathbf{A}=\left[\begin{array}{cc}1& 1\\ 1& -2\\ 2& 1\end{array}\right]$的奇异值分解.
解 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}=\left[\begin{array}{cc}6& 1\\ 1& 6\end{array}\right],$ 其特征值为 ${\lambda }_1=7,{\lambda }_2=5$ 奇异值为 ${\sigma }_1=\sqrt{7},{\sigma }_2=\sqrt{5}$
$A^{\mathrm{T}}A$ 的正交单位特征向量为 $\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right].$于是
$\begin{array}{rl}& \mathbf{D}=\left[\begin{array}{cc}\sqrt{7}& 0\\ 0& \sqrt{5}\end{array}\right],\mathbf{V}={\mathbf{V}}^{\mathrm{T}}=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right],\\ & {\mathbf{U}}_1=\mathbf{A}{\mathbf{V}}^{-1}{\mathbf{D}}^{-1}=\left[\begin{array}{cc}1& 1\\ 1& -2\\ 2& 1\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{7}}& 0\\ 0& -\frac{1}{\sqrt{5}}\end{array}\right]=\left[\begin{array}{cc}\frac{2}{\sqrt{14}}& 0\\ & \\ -\frac{1}{\sqrt{14}}& \frac{3}{\sqrt{10}}\\ & \\ \frac{3}{\sqrt{14}}& \frac{1}{\sqrt{10}}\end{array}\right],\end{array}$
$\begin{array}{rl}& 解线性方程组\{\begin{array}{l}2x_1-x_2+3x_3=0,\\ 3x_2+x_3=0,\end{array}得通解为\mathbf{x}=\left(\begin{array}{c}{x}_1\\ \\ x_2\\ \\ x_3\end{array}\right)=k\left(\begin{array}{c}5\\ 1\\ -3\end{array}\right),\text{取 }k=\frac{1}{\sqrt{35}},\\ & \text{得 }x\text{为单位向量}.\text{于是}\mathbf{U}=\left[\begin{array}{ccc}\frac{2}{\sqrt{14}}& 0& \frac{5}{\sqrt{35}}\\ & & \\ -\frac{1}{\sqrt{14}}& \frac{3}{\sqrt{10}}& \frac{1}{\sqrt{35}}\\ & & \\ \frac{3}{\sqrt{14}}& \frac{1}{\sqrt{10}}& -\frac{3}{\sqrt{35}}\end{array}\right]\mathbf{\Sigma }=\left[\begin{array}{cc}\sqrt{7}& 0\\ & \\ 0& \sqrt{5}\\ & \\ 0& 0\end{array}\right].容易验证此时U\Sigma V^{\mathrm{T}}=A.\end{array}$