多元统计分析笔记一——矩阵基础知识

一、矩阵特性

 

$(1)$ 对于矩阵$A$，它的秩$rank(A)$为矩阵$A$线性无关的行或列的数目
 

$(2)$ 对于方阵$A$，它的迹运算为$tr(A)=\sum _{i=1}^p{a}_{ii}$
 

$(3)$ 如果矩阵$A$的行列式$\det (A)=|A|\ne 0$，那么存在$A^{-1}$，使得$A{A}^{-1}=A^{-1}A=I$，其中$I$为单位矩阵（identity matrix）
 

二、特征值和特征向量

 

$(4)$ $A$是$p\times p$的矩阵，如果存在标量$\lambda$和非零向量$\mathbf{x}$，满足$A\mathbf{x}=\lambda \mathbf{x}$，那么称$\lambda$是特征值，非零向量$\mathbf{x}$为对应的特征向量
 

$(5)$ 可以通过解$|A-\lambda I_p|=0$来求特征值
 

$(6)$ $\det (A)=\prod _{i=1}^p{\lambda }_i$，$tr(A)=\sum _{i=1}^p{\lambda }_i$
 

三、一些特殊矩阵

 

$(7)$ 设$A\in {\mathbf{R}}^{p\times p}$，如果$A^{T}A=A{A}^T=I$，那么称$A$为正交矩阵(orthogonal matrix)，此时$A^{-1}=A^T$
 

$(8)$ 如果$A^2=A$，那么称$A$为幂等矩阵(idempotent matrix)
 

$(9)$ 如果$P^T=P$，而且$P$是幂等矩阵，那么$P$是投影矩阵(projection matrix)，也称对称幂等矩阵。
 

$(10)$ 设$X\in {\mathbf{R}}^{n\times p}$为满秩矩阵，那么$P_X=X(X^{T}X{)}^{-1}{X}^T\in {\mathbf{R}}^{n\times n}$为投影矩阵。
 

四、谱分解(Spectral decomposition)

 

$(11)$ $A\in {\mathbf{R}}^{p\times p}$为对称矩阵，那么它的谱分解或特征分解(eigen decomposition) 为$$A=\Gamma \Lambda {\Gamma }^T=\sum _{i=1}^p{\lambda }_i{\gamma }_i{\gamma }_i^T$$
其中， Λ = d i a g { λ 1 , ⋯   , λ p } \Lambda=diag\{\lambda_1,\cdots,\lambda_p\} Λ=diag{λ1​,⋯,λp​}，$\Gamma =({\gamma }_1\cdots {\gamma }_p)$为正交矩阵，${\lambda }_i$为矩阵$A$的特征值，${\gamma }_i$为对应的特征向量
 

$(12)$ $A^{-1}=\Gamma {\Lambda }^{-1}{\Gamma }^T$
 

$(13)$ PCA的基础就是对协方差矩阵的谱分解
 

五、奇异值分解(SVD)

 

$(14)$ 矩阵$A\in {\mathbf{R}}^{n\times p}$，它的秩为$r$，那么它的奇异值分解(singular value decomposition) 为$$A=U\Lambda V^T$$
其中，$U\in {\mathbf{R}}^{n\times r}$，$V\in {\mathbf{R}}^{p\times r}$，$U^{T}U=V^{T}V=I_r$，换句话说，就是$U$和$V$有正交列。 Λ = d i a g { λ 1 1 / 2 , ⋯   , λ r 1 / 2 } \Lambda=diag\{\lambda_1^{1/2}, \cdots, \lambda_r^{1/2}\} Λ=diag{λ11/2​,⋯,λr1/2​}，${\lambda }_i\ge 0$
 

$(15)$ $U$的列是$A{A}^T$的特征向量，$V$的列是$A^{T}A$的特征向量， { λ 1 , λ 2 , ⋯   , λ r } \{\lambda_1,\lambda_2,\cdots,\lambda_r\} {λ1​,λ2​,⋯,λr​}是$A^{T}A$和$A^{T}A$的特征值
 

$(16)$ $U^{T}A{A}^{T}U=(U^{T}U)\Lambda (V^{T}V)\Lambda (U^{T}U)={\Lambda }^2$
 

$(17)$$V^T{A}^{T}AV=(V^{T}V)\Lambda (U^{T}U)\Lambda (V^{T}V)={\Lambda }^2$
 

六、二次型(Quadratic forms)

 

$(18)$ $A\in {\mathbf{R}}^{p\times p}$是对称矩阵，$\mathbf{x}=(x_1,\cdots ,x_p{)}^T$为列向量，称$$Q(\mathbf{x})={\mathbf{x}}^{T}A\mathbf{x}=\sum _{i=1}^p\sum _{j=1}^p{a}_{ij}{x}_i{x}_j$$为矩阵$A$的二次型
 

$(19)$如果对于任意的$\mathbf{x}\ne 0$，$Q(\mathbf{x})\ge 0$，称$A$为半正定矩阵(positive semidefinite matrix, PSD)
 

$(20)$如果对于任意的$\mathbf{x}\ne 0$，$Q(\mathbf{x})>0$，称$A$为正定矩阵(positive definite matrix, PD)，详见线性代数——正定矩阵
 

$(21)$ 假设$A$有谱分解$A=\Gamma \Lambda {\Gamma }^T=\sum _{i=1}^p{\lambda }_i{\gamma }_i{\gamma }_i^T$，那么$Q(\mathbf{x})=\sum _{i=1}^p{\lambda }_i{y}_i^2$，其中$y_i={\mathbf{x}}^T{\gamma }_i$。当且仅当${\lambda }_i>0,i=1,\cdots ,p$时，$A$为正定矩阵
 

七、Cholesky分解

 

$(22)$ 如果$A$是正定矩阵，那么它有一个唯一的分解$A=L{L}^T$，其中$L$是具有正对角项的下三角矩阵

 

$(23)$ $\det (A)=|A|=|L{L}^T|=|L{|}^2=\prod _{i=1}^p{l}_{ii}^2$