矩阵的分解

矩阵的分解

1、特征值分解(EVD-eigen value decomposition)

1.1特征值与特征向量

设$\mathbf{A}$是$n$阶矩阵，$\lambda$是一个数，若存在$n$维非零向量$\mathbf{x}$，使得$\mathbf{Ax}=\lambda \mathbf{x}$，则称$\lambda$是矩阵$\mathbf{A}$的特征值，$\mathbf{x}$是$\mathbf{A}$对应于$\lambda$的特征向量。

1.2特征值分解

我们知道一个矩阵是可以通过特征值和特征向量来表示，那假设存在一个$n\times n$的满秩矩阵$\mathbf{A}$，我们便可以通过特征值将$\mathbf{A}$分解。
$$\mathbf{A}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{-1}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T$$
其中，$\mathbf{U}$为特征向量组成的标准正交矩阵，$\mathbf{\Lambda }$为特征值组成的对角阵。

2、奇异值分解(SVD-singular value decomposition)

在特征值分解时，$\mathbf{A}$是$n\times n$的满秩矩阵，那如果$\mathbf{A}$是一个$m\times n$的普通矩阵时，再想分解矩阵$\mathbf{A}$就需要SVD了。此时的$\mathbf{A}$虽然只是一个$m\times n$的普通矩阵，但是${\mathbf{A}}^T\mathbf{A}$是一个$n\times n$的对称阵，可以根据EVD来分解${\mathbf{A}}^T\mathbf{A}$
由特征值分解可知：
$$\begin{gathered} {\mathbf{A}}^T\mathbf{AV}=\mathbf{V}\mathbf{\Lambda } \\ {\mathbf{A}}^T\mathbf{A}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^T \end{gathered}$$
其中，$\mathbf{V}$为特征向量组成的标准正交矩阵，$\mathbf{\Lambda }$为特征值组成的对角阵。
对于$\mathbf{AV}$，有$({\mathbf{Av}}_i{)}^T{\mathbf{Av}}_j={\mathbf{v}}_i^T{\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_j={\mathbf{v}}_i^T{\lambda }_j{\mathbf{v}}_j=0$，向量两两正交，满足正交阵第一个条件；$({\mathbf{Av}}_i{)}^T{\mathbf{Av}}_i={\mathbf{v}}_i^T{\mathbf{A}}^T\mathbf{A}{\mathbf{v}}_i={\mathbf{v}}_i^T{\lambda }_i{\mathbf{v}}_i={\lambda }_i$，$||{\mathbf{Av}}_i)|{|}^2={\lambda }_i$，将${\mathbf{Av}}_i$单位化，令${\sigma }_i=\sqrt{{\lambda }_i}$，则$\frac{{\mathbf{Av}}_i}{||{\mathbf{Av}}_i||}=\frac{{\mathbf{Av}}_i}{{\sigma }_i}={\mathbf{u}}_i$，即${\mathbf{Av}}_i={\sigma }_i{\mathbf{u}}_i$，至此，各向量长度为单位长度，满足正交阵第二个条件。
综上所述，$m\times n$的矩阵$\mathbf{A}$可以分解为：
$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$
其中，$\mathbf{U}$为$\mathbf{A}{\mathbf{A}}^T$的特征向量，$\mathbf{V}$为${\mathbf{A}}^T\mathbf{A}$的特征向量，$\mathbf{\Sigma }$为对角元素为${\sigma }_i$的斜对角阵。

3、QR分解

若$n$阶非奇异矩阵${\mathbf{A}}_{n\times n}$可以分解成正交矩阵${\mathbf{Q}}_{n\times n}$和非奇异上三角矩阵${\mathbf{R}}_{n\times n}$的乘积，即$\mathbf{A}=\mathbf{QR}$,则称该分解为$\mathbf{QR}$分解
对于$m\times n$的列满秩矩阵$\mathbf{A}$，有${\mathbf{A}}_{m\times n}={\mathbf{Q}}_{m\times n}\cdot {\mathbf{R}}_{n\times n}$ 。其中$\mathbf{Q}$为正交向量组，$\mathbf{R}$为非奇异上三角矩阵，该分解也叫做$\mathbf{QR}$分解。
施密特正交化：
设列向量${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3,...,{\mathbf{\alpha }}_k$线性无关，令：
$$\begin{array}{rl}{\mathbf{\beta }}_1& ={\mathbf{\alpha }}_1\\ {\mathbf{\beta }}_2& ={\mathbf{\alpha }}_2-\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_2)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1\\ {\mathbf{\beta }}_3& ={\mathbf{\alpha }}_3-\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1-\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}{\mathbf{\beta }}_2\\ ...& \\ {\mathbf{\beta }}_k& ={\mathbf{\alpha }}_k-\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1-\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}{\mathbf{\beta }}_2-...-\frac{({\mathbf{\beta }}_{k-1},{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_{k-1},{\mathbf{\beta }}_{k-1})}{\mathbf{\beta }}_{k-1}\end{array}$$
则${\mathbf{\beta }}_1,{\mathbf{\beta }}_2,{\mathbf{\beta }}_3,...,{\mathbf{\beta }}_k$两两正交，与${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3,...,{\mathbf{\alpha }}_k$等价
令：
$$\begin{gathered} {\mathbf{\eta }}_1=\frac{{\mathbf{\beta }}_1}{||{\mathbf{\beta }}_1||} \\ {\mathbf{\eta }}_2=\frac{{\mathbf{\beta }}_2}{||{\mathbf{\beta }}_2||} \\ {\mathbf{\eta }}_3=\frac{{\mathbf{\beta }}_3}{||{\mathbf{\beta }}_3||} \\ ... \\ {\mathbf{\eta }}_k=\frac{{\mathbf{\beta }}_k}{||{\mathbf{\beta }}_k||} \end{gathered}$$
则${\mathbf{\eta }}_1,{\mathbf{\eta }}_2,{\mathbf{\eta }}_3,...,{\mathbf{\eta }}_k$两两正交，并且均为单位向量，是与${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3,...,{\mathbf{\alpha }}_k$等价的标准正交组
系数矩阵：
由$\mathbf{\alpha }和\mathbf{\beta }$的关系可知：
$$\begin{array}{rl}{\mathbf{\alpha }}_1& ={\mathbf{\beta }}_1=||{\mathbf{\beta }}_1||{\mathbf{\eta }}_1\\ {\mathbf{\alpha }}_2& =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_2)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1+{\mathbf{\beta }}_2\\ & =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_2)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||{\mathbf{\eta }}_1+||{\mathbf{\beta }}_2||{\mathbf{\eta }}_2\\ {\mathbf{\alpha }}_3& =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1+\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}{\mathbf{\beta }}_2+{\mathbf{\beta }}_3\\ & =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||{\mathbf{\eta }}_1+\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}||{\mathbf{\beta }}_2||{\mathbf{\eta }}_2+||{\mathbf{\beta }}_3||{\mathbf{\eta }}_3\\ ...& \\ {\mathbf{\alpha }}_k& =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}{\mathbf{\beta }}_1+\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}{\mathbf{\beta }}_2+...+\frac{({\mathbf{\beta }}_{k-1},{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_{k-1},{\mathbf{\beta }}_{k-1})}{\mathbf{\beta }}_{k-1}+{\mathbf{\beta }}_k\\ & =\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||{\mathbf{\eta }}_1+\frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}||{\mathbf{\beta }}_2||{\mathbf{\eta }}_2+...+\frac{({\mathbf{\beta }}_{k-1},{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_{k-1},{\mathbf{\beta }}_{k-1})}||{\mathbf{\beta }}_{k-1}||{\mathbf{\eta }}_{k-1}+||{\mathbf{\beta }}_k||{\mathbf{\eta }}_k\end{array}$$
因此：
$$\begin{array}{rl}{\mathbf{r}}_1& ={\left[\begin{array}{ccccc}||{\mathbf{\beta }}_1||& 0& 0& ...& 0\end{array}\right]}^T\\ {\mathbf{r}}_2& ={\left[\begin{array}{ccccc}\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_2)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||& ||{\mathbf{\beta }}_2||& 0& ...& 0\end{array}\right]}^T\\ {\mathbf{r}}_3& ={\left[\begin{array}{ccccc}\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||& \frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_3)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}||{\mathbf{\beta }}_2||& ||{\mathbf{\beta }}_3||& ...& 0\end{array}\right]}^T\\ ...& \\ {\mathbf{r}}_k& ={\left[\begin{array}{ccccc}\frac{({\mathbf{\beta }}_1,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_1,{\mathbf{\beta }}_1)}||{\mathbf{\beta }}_1||& \frac{({\mathbf{\beta }}_2,{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_2,{\mathbf{\beta }}_2)}||{\mathbf{\beta }}_2||& ...& \frac{({\mathbf{\beta }}_{k-1},{\mathbf{\alpha }}_k)}{({\mathbf{\beta }}_{k-1},{\mathbf{\beta }}_{k-1})}||{\mathbf{\beta }}_{k-1}||& ||{\mathbf{\beta }}_k||{\mathbf{\eta }}_k\end{array}\right]}^T\end{array}$$
QR分解：
1、写出矩阵$\mathbf{A}$的列向量${\mathbf{\alpha }}_1,{\mathbf{\alpha }}_2,{\mathbf{\alpha }}_3,...,{\mathbf{\alpha }}_k$
2、将$\mathbf{A}$的列向量施密特正交化得到正交向量组${\mathbf{\eta }}_1,{\mathbf{\eta }}_2,{\mathbf{\eta }}_3,...,{\mathbf{\eta }}_k$,由此构成矩阵$\mathbf{Q}$
3、把矩阵$\mathbf{A}$的列向量表示成正交向量组${\mathbf{\eta }}_1,{\mathbf{\eta }}_2,{\mathbf{\eta }}_3,...,{\mathbf{\eta }}_k$的线性组合，其中列向量${\mathbf{r}}_1,{\mathbf{r}}_2,{\mathbf{r}}_3,...,{\mathbf{r}}_k$构成系数矩阵$\mathbf{R}$
4、$\mathbf{A}=\mathbf{QR}$
例子：