机器学习基础：特征值分解与奇异值分解（1.特征分解）

1.写在前面

学习机器学习的过程中，必须学习数学，其中非常重要的一部分莫过于矩阵分解。而矩阵分解的重中之重在于特征值分解和奇异值分解。但是这部分资料或书籍多晦涩难懂，或浮于表面，不能深入，故产生了写下这篇文章的想法。如果写得不对，欢迎指正！

2.特征值分解

2.1特征方程

令$A\in R^{n\times n}$为一个方阵， $\lambda \in R$是$A$的特征值，$x\in R^n$是对应的特征向量（注意不能是0向量）当且仅当：
$$Ax=\lambda x$$

2.2 定理

给定一个矩阵$A\in R^{m\times n}$，我们总能够得到一个对称半正定的矩阵$S\in R^{n\times n}$，通过下面这种方式：
$$S=A^{T}A$$
若$rank(A)=n$，则$S$是对称正定的。

证明:

• 对称性
  $$S=A^{T}A=A^T(A^T{)}^T=(A^{T}A{)}^T=S^T$$
• 正定性
  $$x^{T}Sx=x^T{A}^{T}Ax=(Ax{)}^{T}Ax\ge 0$$
  注意最后一个大于号用到了内积的正定性，但是限于篇幅我就不展开讲了，可能以后会写。

2.3 定理2：谱定理（实数） spectral theorem

若$A\in R^{n\times n}$ 是对称矩阵，则一定存在由$A$的特征向量组成的一组标准正交基，组成了一个对应的向量空间$V$，且每个特征值都是实的。

2.4 特征值分解

令$A\in R^{n\times n}$， ${\lambda }_1,{\lambda }_2,{\lambda }_n$为一组标量，$p_1,p_2,...,p_n$为一组$R^n$上向量，我们定义$P=\left[\begin{array}{cc}{p}_1& p_2\cdots p_n\end{array}\right]$ 并令$D\in R^{n\times n}$为一个对角阵，对角元素为${\lambda }_1,{\lambda }_2,\cdots {\lambda }_n$。

则当且仅当${\lambda }_1,{\lambda }_2,\cdots {\lambda }_n$为$A$的特征值且$p_1,p_2,...,p_n$为对应特征向量时，有：
$$AP=PD$$

证明：
$$AP=A\left[\begin{array}{cc}{p}_1& p_2\cdots p_n\end{array}\right]$$
$$PD=\left[\begin{array}{cc}{p}_1& p_2\cdots p_n\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1{p}_1& {\lambda }_2{p}_2& \cdots & {\lambda }_n{p}_n\end{array}\right]$$
由上面两个等式：
$$A\left[\begin{array}{cc}{p}_1& p_2\cdots p_n\end{array}\right]=\left[\begin{array}{cccc}{\lambda }_1{p}_1& {\lambda }_2{p}_2& \cdots & {\lambda }_n{p}_n\end{array}\right]$$
进而等价于：
$$\begin{gathered} A{p}_1={\lambda }_1{p}_1 \\ A{p}_2={\lambda }_2{p}_2 \\ ⋮ \\ A{p}_n={\lambda }_n{p}_n \end{gathered}$$

因此$P$一定由$A$的特征向量组成，而$D$的对角线元素必为对应特征值。

进一步的，当且仅当$A$的特征向量都是独立的时候 $\iff$$A$是non-defective matrix $\iff$ $P$满秩 $\iff$$P$可逆 的时候，有：
$$\begin{gathered} AP=PD \\ A=PD{P}^{-1} \end{gathered}$$

2.5 对称矩阵的特征值分解

已经有：$$A=PD{P}^{-1}$$
又由于谱定理(定理2)，对称矩阵的特征向量是一组标准正交基ONB,故而$P$是一个正交阵，因此：
$$P^T=P^{-1}$$
进而对于对称矩阵$A$，存在：
$$A=PD{P}^T$$

Reference:

• 《Mathematics For Machine Learning》by Marc Peter Deisenroth, A.Aldo Faisal and Cheng Soon Ong