线性代数及应用【下】：矩阵分解、主成分分析（PCA）

线性代数及应用【下】

学习笔记打卡：

线性代数及应用【上】：
第一章 矩阵变换
 1.1 基变换与坐标变换
 1.2 矩阵乘法
 1.3 线性变换的矩阵
第二章 矩阵的四大基本空间
应用一 最小二乘法的线性拟合
 3.0 向量范数
 3.1 投影矩阵与投影向量
 3.2 多元线性回归

线性代数及应用【下】：
第四章 矩阵分解
 4.0 特征值分解（EVD）
 4.1 奇异值分解（SVD）
应用二 主成分分析（PCA）
参考链接

---

---

第四章矩阵分解

  矩阵分解是指根据一定的原理用某种算法将一个矩阵分解成若干个矩阵的乘积，主要包括：可逆方阵的三角分解（LU），满秩方阵的正交三角分解（QR），不可对角化矩阵的Jordan分解，对称正定矩阵的Cholesky分解，任意方阵的Schur分解、Hessenberg分解、特征值分解（EVD），和任意矩阵的几何均值分解（GMD）奇异值分解 (Singular Value Decompostion) 等，其中SVD是六种矩阵分解中综合性最强，应用最广的分解.

4.0 特征值分解（EVD）

  空间中同一个线性变换，在不同的基底下，用于描述的矩阵是相似的，而过渡矩阵$\mathbf{P}$联系了这些相似矩阵. 而选择一个好的基底，能够使变换对应的矩阵更加简洁，使描述和计算线性变换更加简单，所以希望线性变换矩阵是一个对角阵（因为他有很多优良的性质）.

  在${\mathbb{R}}^n$中，设$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，需要找到一个可逆矩阵$\mathbf{P}$，使得${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\mathbf{\Lambda }$， 其中 Λ = diag { λ 1 ,   λ 2 , ⋯ λ n } \boldsymbol{\Lambda}=\text{diag}\{\lambda_1,\,\lambda_2,\cdots\lambda_n\} Λ=diag{λ1​,λ2​,⋯λn​}，$\mathbf{P}=\left(\begin{array}{cccc}{\mathbf{p}}_1& {\mathbf{p}}_2& \cdots & {\mathbf{p}}_n\end{array}\right)$，实现$\mathbf{A}$的对角化.
  左乘$\mathbf{P}$，由于
$$\begin{array}{rl}\mathbf{A}\mathbf{P}& =\mathbf{P}\mathbf{\Lambda }\\ \Rightarrow \mathbf{A}\left(\begin{array}{cccc}{\mathbf{p}}_1& {\mathbf{p}}_2& \cdots & {\mathbf{p}}_n\end{array}\right)& =\left(\begin{array}{cccc}{\mathbf{p}}_1& {\mathbf{p}}_2& \cdots & {\mathbf{p}}_n\end{array}\right)\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)\\ \Rightarrow \left(\begin{array}{cccc}\mathbf{A}{\mathbf{p}}_1& \mathbf{A}{\mathbf{p}}_2& \cdots & \mathbf{A}{\mathbf{p}}_n\end{array}\right)& =\left(\begin{array}{cccc}{\lambda }_1{\mathbf{p}}_1& {\lambda }_2{\mathbf{p}}_2& \cdots & {\lambda }_n{\mathbf{p}}_n\end{array}\right)\end{array}$$  问题转化为找到所有满足$\mathbf{A}{\mathbf{p}}_i={\lambda }_i{\mathbf{p}}_i$的${\mathbf{p}}_i$，且不同${\mathbf{p}}_i$之间线性无关. 方程整理，得$(\mathbf{A}-{\lambda }_i\mathbf{E}){\mathbf{p}}_i=0$$\iff$ N ( A − λ i E ) = Span { p i } N(\boldsymbol{A}-{{\lambda}_i\boldsymbol{E}})=\text{Span}\{{\boldsymbol{p}_i}\} N(A−λi​E)=Span{pi​}$\iff$$\text{det}(\mathbf{A}-{\lambda }_i\mathbf{E})=0$，进而求出$\mathbf{P}$和$\mathbf{\Lambda }$.
实对称矩阵性质优，且与二次型一一对应：

	实对称矩阵性质
1	实对称矩阵的不同特征值对应的特征向量是正交的
2	实对称矩阵的特征值都是实数
3	实对称矩阵必可相似对角化，且一定可正交相似对角化
4	若实对称矩阵具有$k$重特征值，则有$k$个线性无关的特征向量
5	实矩阵与其自身转置相乘能够得到实对称矩阵，且秩不变、半正定

  在${\mathbb{R}}^n$中，设$\mathbf{A}\in {\mathbb{R}}^{n\times n}$是一个实对称矩阵，考虑实对称矩阵的相似对角化
$$\begin{array}{r}{\mathbf{Q}}^{-1}\mathbf{A}\mathbf{Q}=\mathbf{\Lambda }\\ ({\mathbf{Q}}^{-1}\mathbf{A}\mathbf{Q}{)}^{\top }=\mathbf{\Lambda }\\ {\mathbf{Q}}^{\top }\mathbf{A}({\mathbf{Q}}^{-1}{)}^{\top }=\mathbf{\Lambda }\end{array}$$得到$\{\begin{array}{l}{\mathbf{Q}}^{-1}={\mathbf{Q}}^{\top }\\ \\ \mathbf{Q}=({\mathbf{Q}}^{-1}{)}^{\top }\end{array}$. 所以$\mathbf{Q}$是一个正交矩阵，因此$\mathbf{A}$可以进行正交分解$${\mathbf{Q}}^{\top }\mathbf{A}\mathbf{Q}=\mathbf{\Lambda }$$因为$\text{det}(\mathbf{Q})=1$，所以正交分解保证二次型的形状（向量模长、向量夹角）不变.

	正交矩阵性质
1	${\mathbf{Q}}^{-1}={\mathbf{Q}}^{\top }$，且都是正交矩阵
2	$\text{det}(\mathbf{Q})=\pm 1$
3	同型正交矩阵的乘积是正交的
4	正交矩阵$\mathbf{Q}\in {\mathbb{R}}^{n\times n}$全部行（列）向量是${\mathbb{R}}^n$的一组标准正交基
5	正交矩阵是欧氏空间中标准正交基到标准正交基的过渡矩阵

4.1 奇异值分解（SVD）

  EVD要求矩阵必须为方阵，且能够对角化，存在局限性. 设$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，考虑对于一般矩阵的分解. （未完）

应用二 主成分分析（PCA）

  数据特征如果是高维就要特征选择或者降维，特征选择是从原有特征中选择相关性高的特征，特征降维是从原有特征中整合出新的有代表性的特征，一个方法是主成分分析（PCA）.

  全部样本数据（data）类似于一张全班同学的成绩单. 记自然基构成的矩阵为$\mathbf{E}\in {\mathbb{R}}^{m\times m}$，全部样本在自然基底下的坐标为$\mathbf{X}$，所以全部样本数据为$\mathbf{X}=\left(\begin{array}{c}{\mathbf{x}}_1^{\top }\\ {\mathbf{x}}_2^{\top }\\ ⋮\\ {\mathbf{x}}_k^{\top }\\ ⋮\\ {\mathbf{x}}_n^{\top }\end{array}\right)=\left(\begin{array}{ccccccc}{x}_{1,1}& x_{1,2}& \cdots & x_{1,i}& \cdots & x_{1,m-1}& x_{1,m}\\ x_{2,1}& x_{2,2}& \cdots & x_{2,i}& \cdots & x_{2,m-1}& x_{2,m}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮& ⋮\\ x_{k,1}& x_{k,2}& \cdots & x_{k,i}& \cdots & x_{k,m-1}& x_{k,m}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮& ⋮\\ x_{n,1}& x_{n,2}& \cdots & x_{n,1}& \cdots & x_{n,m-1}& x_{n,m}\end{array}\right)=\left(\begin{array}{cccccc}{X}_1& X_2& \cdots & X_i& \cdots & X_m\end{array}\right)\in {\mathbb{R}}^{n\times m}$.

  $m$为特征维度，每列代表不同特征（如语文成绩、数学成绩等），第$i$个特征数据表示为$X_i$；
  $n$为样本数量，每行是一个样本（如小明、小红等），第$k$个样本表示为${\mathbf{x}}_k^{\top }$（转置为行向量表示）.
  每个特征的样本（specimen）的均值${\bar{X}}_i$和方差$s_i^2$分别是该特征的总体（population）期望${\mu }_i$和方差${\sigma }_i^2$的无偏估计（Unbiased estimate）. 可以使用样本方差表示同一特征中不同数据的分散程度，而协方差则反应了两组随机变量之间的相关程度，定义为
$$\begin{array}{r}\text{Cov}[X_1,X_2]=E[X_1-{\mu }_1]E[X_2-{\mu }_2]\end{array}$$样本协方差也是总体协方差的无偏估计，定义为
$$\begin{array}{r}\text{cov}[X_1,X_2]=E[X_1-{\bar{X}}_1]E[X_2-{\bar{X}}_2]\end{array}$$   方差就是信息，方差越大，信息越多.

  定义协方差矩阵：
$$\begin{array}{rl}\mathbf{\Sigma }& =E\left[(\mathbf{X}-\mathbf{\mu })(\mathbf{X}-\mathbf{\mu }{)}^{\top }\right]\\ & \\ & =E\left[\left(\begin{array}{c}{X}_1-{\mu }_1\\ X_2-{\mu }_2\\ ⋮\\ X_m-{\mu }_m\end{array}\right)\left(\begin{array}{cccc}{X}_1-{\mu }_1& X_2-{\mu }_2& \cdots & X_m-{\mu }_m\end{array}\right)\right]\\ & \\ & =\left(\begin{array}{cccc}E{\left(X_1-{\mu }_1\right)}^2& E\left[\left(X_1-{\mu }_1\right)\left(X_2-{\mu }_2\right)\right]& \cdots & E\left[\left(X_1-{\mu }_1\right)\left(X_m-{\mu }_m\right)\right]\\ E\left[\left(X_2-{\mu }_2\right)\left(X_1-{\mu }_1\right)\right]& E{\left(X_2-{\mu }_2\right)}^2& \cdots & E\left[\left(X_2-{\mu }_2\right)\left(X_m-{\mu }_m\right)\right]\\ ⋮& ⋮& \ddots & ⋮\\ E\left[\left(X_m-{\mu }_m\right)\left(X_1-{\mu }_1\right)\right]& E\left[\left(X_m-{\mu }_m\right)\left(X_2-{\mu }_2\right)\right]& \cdots & E{\left(X_m-{\mu }_m\right)}^2\end{array}\right)\\ & \\ & =\left(\begin{array}{cccc}{\sigma }_1^2& \text{Cov}[X_1,X_2]& \cdots & \text{Cov}[X_1,X_m]\\ \text{Cov}[X_2,X_1]& {\sigma }_2^2& \cdots & \text{Cov}[X_2,X_m]\\ ⋮& ⋮& \ddots & ⋮\\ \text{Cov}[X_m,X_1]& \text{Cov}[X_m,X_2]& \cdots & {\sigma }_m^2\end{array}\right)\end{array}$$由于样本均值和样本方差独立，所以改变样本均值不会改变样本的离散程度. 所以为方便计算，经平移变换，将每个特征的样本均值${\bar{X}}_i=0$（或${\mu }_i=0$），再去进而得到样本的协方差矩阵：$$\begin{array}{rl}{\mathbf{\Sigma }}_x& =\left(\begin{array}{cccc}{s}_1^2& \text{cov}[X_1,X_2]& \cdots & \text{cov}[X_1,X_m]\\ \text{cov}[X_2,X_1]& s_2^2& \cdots & \text{cov}[X_2,X_m]\\ ⋮& ⋮& \ddots & ⋮\\ \text{cov}[X_m,X_1]& \text{cov}[X_m,X_2]& \cdots & s_m^2\end{array}\right)\\ & \\ & =\frac{1}{n-1}\mathbf{X}{\mathbf{X}}^{\top }\end{array}$$不难发现它就是零均值化后的样本矩阵与其自身转置相乘后的结果，显然协方差矩阵是一个（半）正定、满秩的实对称矩阵. 应当考虑矩阵分解.

  EVD分解方法： 希望进行特征降维，要确保各特征间的相关性为0，若不保证相关性为0，则去掉其中一个特征后，必然会更多地影响其他特征对样本的贡献. 记自然基构成的矩阵为$\mathbf{E}\in {\mathbb{R}}^{m\times m}$，全部样本在基底$\mathbf{A}$下的坐标为$\mathbf{Y}$. 问题转化为寻找一组新的标准正交基$\mathbf{A}\in {\mathbb{R}}^{m\times m}$，在 Span { A } \text{Span}\{\boldsymbol{A}\} Span{A}上所有样本特征之间的协方差均为0：$$\begin{array}{rl}{\mathbf{\Sigma }}_y& =\frac{1}{n-1}\mathbf{Y}{\mathbf{Y}}^{\top }\end{array}$$  记由基$\mathbf{E}\to \mathbf{A}$的过渡矩阵$\mathbf{Q}$（是正交矩阵），基变换公式为$\mathbf{A}=\mathbf{E}\mathbf{Q}=\mathbf{Q}$，对应$\mathbf{X}\to \mathbf{Y}$的坐标变换公式为$\mathbf{X}=\mathbf{Q}\mathbf{Y}=\mathbf{A}\mathbf{Y}$. 则协方差矩阵进一步表示为
$$\begin{array}{rl}{\mathbf{\Sigma }}_x& =\frac{1}{n-1}\mathbf{X}{\mathbf{X}}^{\top }\\ & \\ & =\frac{1}{n-1}\mathbf{A}\mathbf{Y}(\mathbf{A}\mathbf{Y}{)}^{\top }\\ & \\ & =\mathbf{A}(\frac{1}{n-1}\mathbf{Y}{\mathbf{Y}}^{\top }){\mathbf{A}}^{\top }\\ & \\ & =\mathbf{A}{\mathbf{\Sigma }}_y{\mathbf{A}}^{\top }\end{array}$$等价于对协方差矩阵正交分解
$$\begin{array}{rl}{\mathbf{\Sigma }}_x& =\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^{\top }\end{array}$$因此求得$\{\begin{array}{l}\mathbf{A}=\mathbf{Q}\\ \\ {\mathbf{\Sigma }}_y=\mathbf{\Lambda }\end{array}$.

  协方差矩阵的特征值大小代表了变换后每个特征的方差大小，因此应当保留特征值大的特征，丢弃特征值小的特征，对应的特征向量随之扬弃.

SVD分解方法： （未完）

上下篇参考资料链接

什么是主成分分析(PCA)_Hsuty

奇异值分解（SVD）原理总结_小白学视觉

ZhiHu_问答界面

矩阵论（二）相似变换_乌兰巴托海军

1.9 线性变换的矩阵（第1章 线性代数中的线性方程组）_泰克尼客