《矩阵理论》大萌课程笔记 - 矩阵分解

《矩阵理论》大萌课程笔记 - 矩阵分解

---

总目录

章节名称与链接
线性空间与线性变换	线性空间与子空间
	有限维线性空间、基、维数
	线性变换
内积空间
特征值与特征向量
特殊矩阵
矩阵分解
矩阵函数

---

声明

  本专栏博客用于记录上海交通大学研究生课程《矩阵理论》笔记，课程任教老师为邓大萌老师。所有内容均为博主个人的课堂笔记，包括课堂例题与证明。如有不妥、错误之处欢迎大家指正。

---

---

1 正交三角分解

定义：$A_{m\times n}=U_{m\times n}\cdot R_{n\times n}$，其中$U$的列向量是标准正交向量(单位化，正交化)，$R$是主对角元素大于0的上三角阵

条件：$A$是列满秩矩阵

分解方法：斯密特正交化法，按照A的列向量标准正交化，得到的标准正交向量构成$U$,系数为$R$

性质：正交三角分解的结果唯一

2 谱分解

定义：已知矩阵$A$可以相似对角化，$P^{-1}AP=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right]\Rightarrow A=P\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right]P^{-1}$

​ 设$P=({\alpha }_1,{\alpha }_2,...,{\alpha }_n),P^{-1}=({\beta }_1^T,{\beta }_2^T,...,{\beta }_n^T{)}^T$

​ $A={\lambda }_1{\alpha }_1{\beta }_1^T+{\lambda }_2{\alpha }_2{\beta }_2^T+...+{\lambda }_n{\alpha }_n{\beta }_n^T={\Sigma }_{i=1}^n{\lambda }_i{G}_i,G_i={\alpha }_i\cdot {\beta }_i^T$

条件：$A$是方阵且可以对角化

分解方法：先求解特征值，再求特征向量得到$P$，最后按行列写成定义形式。

性质：

• ${\Sigma }_{i=1}^k{G}_i=E$

证明：${\Sigma }_{i=1}^k{G}_i={\alpha }_1{\beta }_1^T+{\alpha }_2{\beta }_2^T+...+{\alpha }_n{\beta }_n^T=({\alpha }_1,{\alpha }_2,...,{\alpha }_n)\cdot ({\beta }_1^T,{\beta }_2^T,...,{\beta }_n^T{)}^T=P\cdot P^{-1}=E$

证毕。

• $G_i\cdot G_i=G_i,G_i\cdot G_j=0$

证明：$P^{-1}\cdot P=({\beta }_1^T,{\beta }_2^T,...,{\beta }_n^T{)}^T\cdot ({\alpha }_1,{\alpha }_2,...,{\alpha }_n)=E$

$\Rightarrow {\beta }_i^T\cdot {\alpha }_i=1,{\beta }_i^T\cdot {\alpha }_j=0$

$\Rightarrow ({\alpha }_i{\beta }_i{)}^2={\alpha }_i{\beta }_i,({\alpha }_i{\beta }_j{)}^2=0$

$\Rightarrow G_i^2=({\alpha }_k{\beta }_k+{\alpha }_{k+1}{\beta }_{k+1}+...+{\alpha }_{k+n_i}{\beta }_{k+n_i}{)}^2=G_i,G_i\cdot G_j=0$，证毕。

• $r(G_i)=n_i$，$n_i$是重数

证明：已知$G_i={\alpha }_k{\beta }_k+{\alpha }_{k+1}{\beta }_{k+1}+...+{\alpha }_{k+n_i}{\beta }_{k+n_i}\Rightarrow G_i$每一列向量由${\alpha }_k,{\alpha }_{k+1},...,{\alpha }_{k+n_i}$线性组合得到

​ 已知线性无关组$\le$张成组，因此$r(G_i)\le n_i$

又${\Sigma }_{i=1}^k{G}_i=E\Rightarrow {\Sigma }_{i=1}^{k}r(G_i)\ge r({\Sigma }_{i=1}^k{G}_i)=r(E)=n={\Sigma }_{i=1}^k{n}_i$

$\Rightarrow r(G_i)=n_i$

• 谱分解的结果唯一

证明：假设谱分解结果不唯一，则存在$A={\lambda }_1{G}_1+{\lambda }_2{G}_2+...+{\lambda }_k{G}_k={\lambda }_1{P}_1+{\lambda }_2{P}_2+...+{\lambda }_k{P}_k$

等式两边左乘$G_i,1\le i\le k\Rightarrow {\lambda }_i{G}_i=G_i({\lambda }_1{P}_1+{\lambda }_2{P}_2+...+{\lambda }_k{P}_k)$

等式两边右乘$P_j,1\le j\le k,j\ne i\Rightarrow {\lambda }_i{G}_i{P}_j={\lambda }_j{G}_i{P}_j$

$\because {\lambda }_i\ne {\lambda }_j\Rightarrow G_i{P}_j=0,i\ne j$

$\Rightarrow {\lambda }_i{G}_i=G_i({\lambda }_1{P}_1+{\lambda }_2{P}_2+...+{\lambda }_k{P}_k)={\lambda }_i{G}_i{P}_i$

​ ${\lambda }_i{P}_i=({\lambda }_1{G}_1+{\lambda }_2{G}_2+...+{\lambda }_k{G}_k)P_i={\lambda }_i{G}_i{P}_i$

$\Rightarrow G_i=P_i\Rightarrow$谱分解唯一

• 正规矩阵一定有谱分解

例：“度量矩阵一定有谱分解”是对是错？

度量矩阵是Hermite阵/正定阵$\Rightarrow$度量矩阵是正规矩阵$\Rightarrow$正规矩阵一定有有谱分解

所以，度量矩阵一定有谱分解，对

3 三角分解

定义：将方阵$A$分解为单位下三角阵（对角线元素为1）和上三角阵，$A=LR$

条件：$n\times n$方阵，$r(A)=r$，前$r$阶顺序主子式不等于0

分解方法：高斯消元法（行变换化标准型）/左乘行变换矩阵

例：$A=\left[\begin{array}{ccc}1& 2& 4\\ 2& 3& 5\\ 3& 5& 9\end{array}\right]$，求$A$的三角分解。

$\left[\begin{array}{ccc}1& & \\ -2& 1& \\ -3& & 1\end{array}\right]A=\left[\begin{array}{ccc}1& 2& 4\\ 0& -1& -3\\ 0& -1& -3\end{array}\right]$

$\Rightarrow \left[\begin{array}{ccc}1& & \\ & 1& \\ & -1& 1\end{array}\right]\left[\begin{array}{ccc}1& & \\ -2& 1& \\ -3& & 1\end{array}\right]A=\left[\begin{array}{ccc}1& & \\ -2& 1& \\ -1& -1& 1\end{array}\right]A=\left[\begin{array}{ccc}1& 2& 4\\ 0& -1& -3\\ 0& 0& 0\end{array}\right]$

$\Rightarrow A={\left[\begin{array}{ccc}1& & \\ -2& 1& \\ -1& -1& 1\end{array}\right]}^{-1}\left[\begin{array}{ccc}1& 2& 4\\ 0& -1& -3\\ 0& 0& 0\end{array}\right]=\left[\begin{array}{ccc}1& & \\ 2& 1& \\ 3& 1& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 4\\ 0& -1& -3\\ 0& 0& 0\end{array}\right]$

性质：三角分解唯一

$\star \star \star$特殊的类三角分解：Cholesky分解

定义：若$A$是正定矩阵，则存在上三角阵$R$使得$A=R^{\ast }R$，该分解成为Cholesky分解（注意：$A$正定隐含的条件是$A$为Hermite阵）

证明：已知$A$是正定矩阵$\Rightarrow A$是Hermite阵$\Rightarrow A$可以酉对角化

则存在酉矩阵$U$使得$U^{\ast }AU=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right]\Rightarrow A=U\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & ...& \\ & & & {\lambda }_n\end{array}\right]U^{\ast }$

又因为$A$是正定矩阵$\Rightarrow {\lambda }_i>0,1\le i\le n$

$\therefore A=U\left[\begin{array}{cccc}{\sqrt{\lambda }}_1& & & \\ & {\sqrt{\lambda }}_2& & \\ & & ...& \\ & & & {\sqrt{\lambda }}_n\end{array}\right]\left[\begin{array}{cccc}{\sqrt{\lambda }}_1& & & \\ & {\sqrt{\lambda }}_2& & \\ & & ...& \\ & & & {\sqrt{\lambda }}_n\end{array}\right]U^{\ast }$

令$B=\left[\begin{array}{cccc}{\sqrt{\lambda }}_1& & & \\ & {\sqrt{\lambda }}_2& & \\ & & ...& \\ & & & {\sqrt{\lambda }}_n\end{array}\right]U^{\ast }\Rightarrow B^{\ast }=U\left[\begin{array}{cccc}{\sqrt{\lambda }}_1& & & \\ & {\sqrt{\lambda }}_2& & \\ & & ...& \\ & & & {\sqrt{\lambda }}_n\end{array}\right]$

因为$B$是列满秩矩阵，因此存在正交三角分解，即$B=QR,B^{\ast }=R^{\ast }{Q}^{\ast },Q^{\ast }Q=E$

$\Rightarrow A=B^{\ast }B=R^{\ast }{Q}^{\ast }QR=R^{\ast }R$，证毕

求解方法：行、列变换$\Rightarrow$求逆$\Rightarrow$拆分$\Rightarrow$合并

例：$A=\left[\begin{array}{cc}1& 2\\ 2& 6\end{array}\right]$，求$A$的Cholesky分解

对$A$进行行列变换得：$\left[\begin{array}{cc}1& \\ -2& 1\end{array}\right]A\left[\begin{array}{cc}1& -2\\ & 1\end{array}\right]=\left[\begin{array}{cc}1& \\ & 2\end{array}\right]=\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]$

$\Rightarrow A={\left[\begin{array}{cc}1& \\ -2& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]{\left[\begin{array}{cc}1& -2\\ & 1\end{array}\right]}^{-1}=\left[\begin{array}{cc}1& \\ 2& 1\end{array}\right]\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]\left[\begin{array}{cc}1& \\ & \sqrt{2}\end{array}\right]\left[\begin{array}{cc}1& 2\\ & 1\end{array}\right]=\left[\begin{array}{cc}1& \\ 2& \sqrt{2}\end{array}\right]\left[\begin{array}{cc}1& 2\\ & \sqrt{2}\end{array}\right]$

4 奇异值分解（$\star \star \star$必考大题15分）

定义：矩阵$A_{m\times n}$可以分解为$A_{m\times n}=U_{m\times m}\cdot D_{m\times n}\cdot V_{n\times n}^{\ast }$，其中$U,V^{\ast }$是酉矩阵，$r(A)=r$$D_{m\times n}=\left[\begin{array}{ccccccc}{\delta }_1& & & & & & \\ & {\delta }_2& & & & & \\ & & ...& & & & \\ & & & {\delta }_r& & & \\ & & & & 0& & \\ & & & & & ...& \\ & & & & & & 0\end{array}\right],{\delta }_i>0,0\le i\le r,{\delta }_i$就是奇异值

$A{A}^{\ast }=U_{m\times m}\cdot {\left[\begin{array}{ccccccc}{\delta }_1^2& & & & & & \\ & {\delta }_2^2& & & & & \\ & & ...& & & & \\ & & & {\delta }_r^2& & & \\ & & & & 0& & \\ & & & & & ...& \\ & & & & & & 0\end{array}\right]}_{m\times m}\cdot U_{m\times m}^{\ast }$

$A^{\ast }A=V_{n\times n}\cdot {\left[\begin{array}{ccccccc}{\delta }_1^2& & & & & & \\ & {\delta }_2^2& & & & & \\ & & ...& & & & \\ & & & {\delta }_r^2& & & \\ & & & & 0& & \\ & & & & & ...& \\ & & & & & & 0\end{array}\right]}_{n\times n}\cdot V_{n\times n}^{\ast }$

存在以下结论保证任意$A$均有此分解：

• $r(A)=r(A{A}^{\ast })=r(A^{\ast }A)$

证明：
若证得$N(A)=N(A^{\ast }A)$，则可得到$n-r(A)=n-r(A^{\ast }A)\Rightarrow r(A)=r(A^{\ast }A)$

​ 设$\forall \alpha \in N(A),A\alpha =0\Rightarrow A^{\ast }A\alpha =0,\alpha \in N(A^{\ast }A)\Rightarrow N(A)\subseteq N(A^{\ast }A)$

​ 设$\forall \beta \in N(A^{\ast }A),A^{\ast }A\beta =0\Rightarrow {\beta }^{\ast }{A}^{\ast }A\beta =(A\beta ,A\beta )=0\Rightarrow ,A\beta =0\Rightarrow \beta \in N(A)\Rightarrow N(A^{\ast }A)\subseteq N(A)$

​ $\Rightarrow N(A)=N(A^{\ast }A)\Rightarrow r(A)=r(A\ast A)$

​ 同理可证$r(A)=r(A{A}^{\ast })$

​ $\Rightarrow r(A)=r(A{A}^{\ast })=r(A^{\ast }A)$

• $A{A}^{\ast }$与$A^{\ast }A$非零特征值相同且对应重数也相同

证明：
$(A{A}^{\ast }{)}^{\ast }=A{A}^{\ast },(A^{\ast }A{)}^{\ast }=A^{\ast }A\Rightarrow A{A}^{\ast }$与$A^{\ast }A$都是Hermite矩阵$\Rightarrow A^{\ast }A,A{A}^{\ast }$可以酉对角化

​ 设${\lambda }_i$是$A^{\ast }A$的特征向量$,1\le i\le r,{\alpha }_i$是对应的特征值，则$A^{\ast }A{\alpha }_i={\lambda }_i{\alpha }_i$

​ $\Rightarrow A{A}^{\ast }A{\alpha }_i={\lambda }_{i}A{\alpha }_i\Rightarrow A{\alpha }_i$是$A{A}^{\ast }$的特征向量，${\lambda }_i$是对应的特征值

​ $\Rightarrow A{A}^{\ast }$与$A^{\ast }A$的特征值相同

• $A{A}^{\ast }$与$A^{\ast }A$半正定

证明：$x^{\ast }{A}^{\ast }Ax=(Ax,Ax)=||Ax|{|}^2\ge 0\Rightarrow A^{\ast }A$半正定，同理，$A{A}^{\ast }$半正定

• $A{A}^{\ast }$或者$A^{\ast }A$的特征值开方等于奇异值

• 若$A{A}^{\ast }$的单位正交特征向量为${\alpha }_1,{\alpha }_2,...,{\alpha }_r,A^{\ast }A$的单位正交特征向量为$\frac{A^{\ast }{\alpha }_1}{{\sqrt{\lambda }}_1},\frac{A^{\ast }{\alpha }_2}{{\sqrt{\lambda }}_2},...,\frac{A^{\ast }{\alpha }_r}{{\sqrt{\lambda }}_r}$

奇异值分解变体–极分解

  当$A$是一个方阵时，$A=UD{V}^{\ast }=(UD{U}^{\ast })(U{V}^{\ast })$，其中$UD{U}^{\ast }$是一个Hermite阵且特征值大于等于$0$，因此$UD{U}^{\ast }$是半正定阵；$U{V}^{\ast }$是两个酉矩阵相乘，结果仍然为酉矩阵，若$A$可逆，则$D_{ii}>0,UD{U}^{\ast }$是正定阵。

例1：证明$A_{n\times n},r(A)=r$可以分解为幂等阵与可逆阵的乘积，即$A=PQ,P,Q$分别为幂等阵与可逆阵

方法一：

证明：已知幂等矩阵的特征值为0或1，不妨令$B=diag(1,1...,1,0,...,0)$，其中1的个数为r

​ $A=UD{V}^{\ast }=U(BD)V^{\ast }=U(B{D}^{\prime })V^{\ast }=(UB{U}^{\ast })(U{D}^{\prime }{V}^{\ast })，D^{\prime }=diag({\delta }_1,{\delta }_2,...,{\delta }_r,1,...,1)$

​ 令$P=UB{U}^{\ast },Q=U{D}^{\prime }{V}^{\ast }\Rightarrow P^2=UB{U}^{\ast }UB{U}^{\ast }=U{B}^2{U}^{\ast }=UB{U}^{\ast }=P\Rightarrow P$是幂等阵

​ 又令$Q=U{D}^{\prime }{V}^{\ast }$，由$U,D^{\prime },V^{\ast }$均为可逆阵得$Q$为可逆阵

​ $\Rightarrow A=PQ$证毕

方法二：

证明：设$P^{\prime },Q^{\prime }$为$A$的行、列变换阵，使得A化为形如$B=diag(1,1...,1,0,...,0)$形式

​ 则$P^{\prime }A{Q}^{\prime }=B\Rightarrow A=P^{\prime -1}B{Q}^{\prime -1}=(P^{\prime -1}B{P}^{\prime })(P^{\prime -1}{Q}^{\prime -1})$

​ 其中令$P=P^{\prime -1}B{P}^{\prime },Q=P^{\prime -1}{Q}^{\prime -1}$，则$P,Q$分别是幂等阵与可逆阵，$A=PQ$证毕。

例2：试将正规矩阵$A$的谱分解改写为奇异值分解

解：$A$的谱分解为$A=UB{U}^{\ast }$，其中$U$是酉矩阵，$B=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_r,0,...,0)$

​ 将$B$改写为$B=PQ,P=diag(|{\lambda }_1|,|{\lambda }_2|,...,|{\lambda }_r|,0,...,0),Q=diag(\frac{{\lambda }_1}{|{\lambda }_1|},\frac{{\lambda }_2}{|{\lambda }_2|},...,\frac{{\lambda }_r}{|{\lambda }_r|},1,...,1)$

​ 其中$P$是半正定矩阵，$Q$是酉矩阵，令$V^{\ast }=Q{U}^{\ast }$

​ $\Rightarrow A=UP{V}^{\ast }$，改写完成

注：其实可以利用极分解来改写，$A=UB{U}^{\ast },B=PQ，P$是半正定阵，$Q$是酉矩阵…

例3：已知$A=U{D}_1{U}^{\ast },B=V{D}_2{V}^{\ast },D_1,D_2$是半正定矩阵，求$C=\left[\begin{array}{cc}0& A\\ B& 0\end{array}\right]$的奇异值分解

解：$C=\left[\begin{array}{cc}0& A\\ B& 0\end{array}\right]=\left[\begin{array}{cc}A& 0\\ 0& B\end{array}\right]\cdot \left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}U& 0\\ 0& V\end{array}\right]\cdot \left[\begin{array}{cc}{D}_1& 0\\ 0& D_2\end{array}\right]\cdot \left[\begin{array}{cc}{U}^{\ast }& 0\\ 0& V^{\ast }\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]$

​ $=\left[\begin{array}{cc}U& 0\\ 0& V\end{array}\right]\cdot \left[\begin{array}{cc}{D}_1& 0\\ 0& D_2\end{array}\right]\cdot \left[\begin{array}{cc}0& U^{\ast }\\ V^{\ast }& 0\end{array}\right]$

​ 设$D_1=diag({\delta }_1,{\delta }_2,...,{\delta }_{r_1},0,...,0),D_2=diag({\delta }_{r_1+1},{\delta }_{r_1+2},...,{\delta }_{r_1+r_2},0,...,0)$，存在行列变换矩阵$P_{2n\times 2n},Q_{2n\times 2n}$使得$P\cdot \left[\begin{array}{cc}{D}_1& 0\\ 0& D_2\end{array}\right]\cdot Q=D=diag({\delta }_1,{\delta }_2,...,{\delta }_{r_1+r_2},0,...,0)$

​ 由于该行列变换只涉及行列交换运算，因此$P,Q$是酉矩阵（证明略）

​ 令$U_C=\left[\begin{array}{cc}U& 0\\ 0& V\end{array}\right]\cdot P^{-1},V_C^{\ast }=Q^{-1}\cdot \left[\begin{array}{cc}0& U^{\ast }\\ V^{\ast }& 0\end{array}\right]$

​ $\Rightarrow C=U_C\cdot D\cdot V_C^{\ast }$

从奇异值分解中得到四个子空间

已知$A=UD{V}^{\ast }$，设$U=({\alpha }_1,{\alpha }_2,...,{\alpha }_r,{\alpha }_{r+1},...,{\alpha }_m),V=({\beta }_1,{\beta }_2,...,{\beta }_r,{\beta }_{r+1},...,{\beta }_n)$

则：
$N(A)=Span({\beta }_{r+1},...,{\beta }_n)$

$N(A^{\ast })=Span({\alpha }_{r+1},...,{\alpha }_m)$

$C(A)=Span({\alpha }_1,{\alpha }_2,...,{\alpha }_r)$

$R(A)=Span({\beta }_1,{\beta }_2,...,{\beta }_r)$