矩阵分解与特征值

1. Cholesky分解

(1) LDU分解

设$A=(a_{ij})$是n阶矩阵，则当且仅当$A$的顺序主子式${\Delta }_k\ne 0(k=1,2,...,n-1)$时，$A$可唯一的分解为$A=LDU$，其中$L$为单位下三角矩阵，$U$为单位上三角矩阵，$D$为对角阵。

证明：对矩阵$A$做初等行变换变成一个上三角矩阵，其变换矩阵就是一个单位下三角矩阵，设$PA=U_1$，令$D=diag(d_1,...,d_n)$，其中$d_i,1\le i\le n$为$U_1$的对角线元素，则存在一个单位上三角阵$U$使得$U_1=DU$，令$L=P^{-1}$仍是一个单位下三角阵，即有$A=LDU$。

(2) Cholesky分解

设$A=(a_{ij})$是n阶对称正定矩阵，则存在一个下三角矩阵$G$，使得$A=G{G}^{\prime }$。

证明：$A$是n阶对称正定矩阵，${\Delta }_k>0(k=1,2,...,n)$，有唯一的LDU分解$A=LDU$，其中$D=diag(d_1,...,d_n)$且$d_i>0(i=1,2,...,n)$（事实上，$d_i=\frac{{\Delta }_i}{{\Delta }_{i-1}}$），令$\tilde{D}=diag(\sqrt{d_1},...,\sqrt{d_n})$，则有$A=L{\tilde{D}}^{2}U$。
由$A^{\prime }=A$得，$L{\tilde{D}}^{2}U=U^{\prime }{\tilde{D}}^2{L}^{\prime }$，
再由分解的唯一性得：$L=U^{\prime },U=L^{\prime }$，
令$G=L\tilde{D}$，则$G$为下三角阵，且有$A=L{\tilde{D}}^2{L}^{\prime }=(L\tilde{D})(L\tilde{D}{)}^{\prime }=G{G}^{\prime }$。

(3) Cholesky分解的统计应用

对任意的$k\times 1$维向量$\mu$、$k\times k$维对称正定矩阵$V$，设$V$有Cholesky分解$V=G{G}^{\prime }$，则可通过以下方式产生一个服从$k$为正态分布$\mathcal{N}(\mu ,V)$的$k$维随机向量：$\xi =\mu +L\eta$，其中$\eta$为服从标准正态分布的随机向量。

2. 特征值分解

对任意的$n\times n$对称矩阵$A$，$A$具有$n$个线性无关的特征向量，则存在一个正交阵$T$使得$A=TD{T}^{\prime }$，其中$D=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$为$A$的特征值。

证明：设$A$的对应于 { λ 1 , λ 2 , . . . , λ n } \{\lambda_1,\lambda_2,...,\lambda_n\} {λ1​,λ2​,...,λn​}的$n$个线性无关的单位特征向量 { v 1 , v 2 , . . . , v n } \{v^1,v^2,...,v^n\} {v1,v2,...,vn}，令$T=[v^1,v^2,...,v^n]$，则$T$为正交阵，
$$\begin{array}{rl}AT& =[A{v}^1,...,A{v}^n]\\ & =[\lambda v^1,...,\lambda v_n]\\ & =[v^1,...,v^n]diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\\ & =Tdiag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)\end{array}$$

$$A=Tdiag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)T^{-1}=Tdiag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)T^{\prime }$$

(1) 矩阵的幂次

对任意的非负定矩阵$A$及数$r\in [0,1]$，可定义$A^r=Tdiag({\lambda }_1^r,...,{\lambda }_n^r)T^{\prime }$。特别地，当$r=1/2$时，$D^{1/2}=diag({\lambda }_1^{1/2},...,{\lambda }_n^{1/2})$，称$A^{1/2}=T{D}^{1/2}{T}^{\prime }$为矩阵$A$的平方根。

(i)$(A^{1/2}{)}^2=A$，记$(A^{-1}{)}^{1/2}$为$A^{-1/2}$，有$A^{-1/2}=(A^{1/2}{)}^{-1}$。
(ii)$L\ddot{o}wner-Heinz$不等式

对任意的满足$A\ge B\ge 0$的矩阵$A$、$B$，数$r\in [0,1]$，有$A^r\ge B^r$。

证明：

(iii)(simultaneously diagonalizable)设有$n$阶矩阵$A$、$B$，若存在正交矩阵$S$使得$A=SD{S}^{\prime }$、$B=SE{S}^{\prime }$，则称矩阵$A$、$B$可同时对角化。可对角化矩阵$A$、$B$可交换当且仅当$A$、$B$可同时对角化。

证明：假设$A$、$B$可同时对角化，即存在正交矩阵$S$使得$A=SD{S}^{\prime }$、$B=SE{S}^{\prime }$，
$$AB=SD{S}^{\prime }SE{S}^{\prime }=SDE{S}^{\prime }=SED{S}^{\prime }=SE{S}^{\prime }SD{S}^{\prime }=BA$$
假设矩阵$A$、$B$可交换，设$A=SD{S}^{\prime }$、$B=TE{T}^{\prime }$，令$B1=S^{\prime }AS$，由$A$、$B$可交换推知$D$、$B_1$可交换，倘若说明$D$、$B_1$可同时对角化，则可推知$A$、$B$可同时对角化，因此不妨假设$A$为对角阵。

设$B=[b_{ij}]$，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$为$A$的特征值，由$AB=BA$知${\lambda }_i{b}_{ij}=b_{ij}{\lambda }_j$，即有$({\lambda }_i-{\lambda }_j)b_{ij}=0$，进而推知当${\lambda }_i\ne {\lambda }_j$时，$b_{ij}=0$。设$A$具有如下分块形式：
$$A=\left[\begin{array}{ccccc}{\lambda }_1{I}_1& 0& ...& 0& \\ 0& {\lambda }_2{I}_2& ...& 0& \\ ...& ...& ...& ...& \\ 0& 0& ...& {\lambda }_k{I}_k& \end{array}\right]$$
相应的$B$具有如下形式：
$$B=\left[\begin{array}{ccccc}{B}_1& 0& ...& 0& \\ 0& B_2& ...& 0& \\ ...& ...& ...& ...& \\ 0& 0& ...& B_k& \end{array}\right]$$
由矩阵$B$可对角化知存在正交阵$T_i$使得$B_i=T_i{E}_i{T}^{\prime }$，令
$$T=\left[\begin{array}{ccccc}{T}_1& 0& ...& 0& \\ 0& T_2& ...& 0& \\ ...& ...& ...& ...& \\ 0& 0& ...& T_k& \end{array}\right],E=\left[\begin{array}{ccccc}{E}_1& 0& ...& 0& \\ 0& E_2& ...& 0& \\ ...& ...& ...& ...& \\ 0& 0& ...& E_k& \end{array}\right]$$
则有$B=TE{T}^{\prime }$，$A=T{T}^{\prime }$，即$A$、$B$可同时对角化。

(2) 统计应用

对任意的$k\times 1$维向量$\mu$、$k\times k$维对称正定矩阵$V$，可通过以下方式产生一个服从$k$为正态分布$\mathcal{N}(\mu ,V)$的$k$维随机向量：$\xi =\mu +V^{1/2}\eta$，其中$\eta$为服从标准正态分布的随机向量。

3. 特征值

(1) 对任意正整数$p$，矩阵$A^p$的特征值为${\lambda }_1^p,...,{\lambda }_n^p$；因此当$A\ge 0$时， λ m a x ( A p ) = { λ m a x ( A ) } p \lambda_{max}(A^p)=\{\lambda_{max}(A)\}^p λmax​(Ap)={λmax​(A)}p， λ m i n ( A p ) = { λ m i n ( A ) } p \lambda_{min}(A^p)=\{\lambda_{min}(A)\}^p λmin​(Ap)={λmin​(A)}p。

(2) $tr(A)={\lambda }_1+...+{\lambda }_n$。

(3)$|A|={\lambda }_1...{\lambda }_n$。

证明：多项式$|\lambda E-A|$的常数项为$(-1{)}^n|A|$，而由多项式根与系数的关系知，多项式的常数项为$(-1{)}^n{\lambda }_1...{\lambda }_n$，故得证。

(4)乘积矩阵的特征值：

(i)矩阵$A$、$B$均为$n$阶方阵：

若$A$、$B$均为对称阵，则$|AB-\lambda E|=|(AB-\lambda E{)}^{\prime }|=|B^{\prime }{A}^{\prime }-\lambda E|$，所以$AB$与$BA$有相同的特征值；

若$A$、$B$至少有一个矩阵可逆，不妨设$A$可逆，则$|AB-\lambda E|=|A^{-1}||AB-\lambda E||A|=|A^{-1}(AB-\lambda E)A|=|BA-\lambda E|$，$AB$与$BA$有相同的特征值；

若$A$、$B$均不可逆，


所以$|\lambda E-AB|=|\lambda E-BA|$，$AB$与$BA$有相同的特征值；

(ii)矩阵$A$、$B$均不是方阵，设$A$为$m\times n$阶矩阵，$B$为$n\times m$阶矩阵：

(5)(Weyl’s perturbation theorem)设对称矩阵$A$、$B$的特征值分别为${\lambda }_1\ge ...\ge {\lambda }_k$、${\mu }_1\ge ...\ge {\mu }_k$，则有：
$$\underset{1\le i\le k}{\max }|{\lambda }_i-{\mu }_i|\le ||A-B||$$

Weyl’s perturbation theorem的一个应用：

设有对称矩阵序列$A_n$满足$||A_n-A||\to 0,n\to \infty$，其中$A$为对称阵，则当$n\to \infty$时，$A_n$的特征值趋于$A$的特征值。