特征值分解与奇异值分解

1、什么是特征值分解

特征值定义：
任意的一个$n$阶实数方阵$A\in R^{n\times n}$，如果存在非零向量$x$：
$Ax=\lambda x$, 则称$x$为$A$的特征向量，$\lambda$为$A$的特征值或者本征值。

特征值分解：
任意的一个$n$阶实数方阵$A\in R^{n\times n}$，A含有$n$个线性无关特征向量的充分必要条件是$A$可以分解为如下形式：
$A=Q\Lambda Q^{-1}$,
其中$\Lambda$为对对角阵。

值得注意的是任意的实对称矩阵都可以进行特征值分解（对角化）。
可逆矩阵（满秩，没有零特征值，行或列向量线性无关），与是否能对角化没有关系。
因此在主成分分析中，变量的协方差矩阵是实对称矩阵，因此一定可以进行矩阵分解。

2、什么是奇异值分解

奇异值定义：任意的一个矩阵$A\in R_r^{m\times n}$, $A^{T}A$（$A^{T}A$特征值大于等于0，[1]）的特征值为${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_r>{\lambda }_{r+1}=...={\lambda }_n=0$, A的奇异值为 { λ 1 , λ 2 , . . . , λ n } \{\sqrt\lambda_1,\sqrt\lambda_2,...,\sqrt\lambda_n \} {λ ​1​,λ ​2​,...,λ ​n​},记为 { σ 1 , σ 2 , . . . , σ n } \{\sigma_1,\sigma_2,...,\sigma_n \} {σ1​,σ2​,...,σn​}。

奇异值分解:
任意的一个矩阵$A\in R_r^{m\times n}$，可以分解为
$A=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^T$,
其中$\Sigma =diag({\sigma }_1,{\sigma }_2,...,{\sigma }_r)$, $U$, $V$为酉矩阵，即$U^{T}U=I_m$, $V^{T}V=I_n,$。
注意$\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]\in R^{m\times n}$。

分解方法：
$A^{T}A=V{\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]}^T{U}^{T}U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^T$,
$=V{\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]}^T\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^T$
$=V\left[\begin{array}{cc}{\Sigma }^2& 0\\ 0& 0\end{array}\right]V^T$
因此$V$是$A^{T}A$的单位正交特征向量。特征值分解求得$V$。
同理可得$U$是$A{A}^T$的单位正交特征向量，但是直接求$A{A}^T$的单位正交特征向量后需要验证是否能还原为
$A=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^T$。
或者另外一种方法求$V$:
因为一定有：
$A=U\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]V^T$
划分$U=[U_r,U_{m-r}]$,$V=[V_r,V_{n-r}]$，$U_r$为$U$的前$r$列，$V_r$为$V$的前$r$列。
则：
$A=[U_r,U_{m-r}]\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right][V_r,V_{n-r}{]}^T$
$A=U_r\Sigma V_r^T$
$A{V}_r=U_r\Sigma V_r^T{V}_r=U_r\Sigma$
则
$U_r=A{V}_r{\Sigma }^{-1}$,
取$U_{m-r}$为单位向量组成的矩阵。
用途广泛：
优化问题，最小二乘问题，广义矩阵逆以及一些统计问题。

[1]证明方阵$A^{T}A$特征值大于等于0.
证：
对任意非零向量$x$，有
$x^T{A}^{T}Ax=(Ax{)}^{T}Ax\ge 0$,
因此对于$A^{T}A$的任意特征向量$y$,以及相应的特征值$\lambda$有：
$y^T{A}^{T}Ay=y^T\lambda y=\lambda y^{T}y\ge 0$,
因此任意的特征值$\lambda \ge 0$。

[2]证明任意实对称矩阵$A$都可以特征分解。（矩阵论简明教程P28）
证：因为$A^T=A$,则$A^{T}A=A{A}^T$，A是正规矩阵。
因为任意方阵$A$有$U^{T}AU=U^{-1}AU=B$，使得$B$为上三角方阵。
因为$B^{T}B=(U^{T}AU{)}^T{U}^{T}AU=B{B}^T$，
设$B=(b_{ij}{)}_{n\times n}$，其中$b_{ij}=0(i>j)$。
$B^{T}B=B{B}^T$展开可得得$b_{ij}=0(i<j)$。
则$A$可以被对角化。

3、特征值分解和奇异值分解的区别与联系

首先需要注意一些定义和概念的区别：
A可对角化：A相似于对角阵$\Sigma$。
A相似于B：$P^{-1}AP=B$。P为相似变换矩阵，一定可逆，但是不一定正交。
基：空间$C^n$内任意$n$个线性无关向量可以构成$C^n$的一组基。
正交基：基向量两两正交。
规范（标准）正交基：基向量都是单位长度。
P为酉矩阵：$n$阶方阵，$P^{H}P=I$，$H$为共轭转置。酉矩阵比正交矩阵范围更大。
A酉相似于B：$P^{-1}AP=B=P^{H}AP$。P为相似变换矩阵，且由单位正交向量构成，即酉矩阵。
A为正规矩阵：$A^{H}A=A{A}^H$。正规矩阵范围极大：包括酉矩阵、正交矩阵、Hermite矩阵、实对称矩阵、对角阵等。

任意基都可以正交化。
实对称矩阵一定可以对角化。
实对称矩阵一定可以通过酉矩阵对角化。
实对称矩阵一定可以通过正交矩阵对角化。

矩阵可以酉相似对角阵充要条件是其是正规矩阵。
矩阵可以相似对角阵充要条件是矩阵有n个线性无关特征向量。
什么样的方阵可以进行特征值分解？

任意方阵都可以求特征值和特征向量。但是不一定可以进行特征值分解。当存在n个线性无关特征向量时（或者特征值的代数重数等于几何重数时）可以特征分解。即使可以特征分解，其分解结果也不唯一。在特征值不同时，求得的特征向量直接相交。

尽管实对称矩阵有着种种优良特性，但是实对称矩阵的特征分解和奇异值分解还是不一样的。
（1）首先实对称矩阵尽管可以通过正交矩阵对角化，得到与奇异值分解类似的形式。但是实对称矩阵的特征值可能是负的，因此和奇异值是不一样的。
（2）即使所有特征值都是非负的（半正定矩阵），则特征值和其奇异值相同。但是当有重复特征值时，得到的正交矩阵不唯一。因此和奇异值分解结果也可能不相同。
（3）进一步假设所有特征值都是非负的（半正定矩阵），什么情况下，实对称矩阵特征分解和奇异值分解结果相同呢？（假设特征值和奇异值都是降序排列）。
如果所有特征值都不相同，则得到的特征向量，直接相交。标准化（规范化）后，得到唯一的正交矩阵（注意正交矩阵任意一列的符号改变时，依然是正交矩阵，为了便于理解，我们假设这是同一个正交矩阵）。
而此时$A^{T}A$的特征值也显然都不一样，因此其特征向量是正交的，规范化后可以得到唯一的正交矩阵。
此时我们考虑实对称矩阵$A$，其所有特征值非负且不相等，则有：
特征值分解：
$A=P\Sigma P^T$，$P$为$A$的特征向量组成的正交矩阵。分解存在且唯一。
奇异值分解：
$A^{T}A=V{\Sigma }^2{V}^T$，$V$为$A^{T}A$的特征向量组成的正交矩阵。分解存在且唯一。
$A{A}^T=A^{T}A=V{\Sigma }^2{V}^T$，$V$为$A{A}^T$的特征向量组成的正交矩阵。分解存在且唯一。

则$A=V\Sigma V^T$存在且唯一。如果不唯一，则$A^{T}A=V{\Sigma }^2{V}^T$分解不唯一。
此时特征分解完全等于奇异值分解$V=P$（除了列向量符合可能不一样）。

可以验证任意方阵$B$，令$A=B^{T}B$，则$A$为实对称矩阵，并且A所有特征值都大于等于0（半正定矩阵），如果满足A的特征值都不相同，则$A$特征值分解等价于奇异值分解。（降序排列，特征向量规范化）。如果满足A的特征值存在相同的，则正交矩阵不唯一。

综上，在非常特殊的情况下，特征值分解和奇异值分解结果一样（正交矩阵列向量符号可能不一样）。