矩阵的对角化与SVD分解

矩阵的对角化

对于对称矩阵B，存在单位正交阵P(P^T=P^-1)，使得：
B = P^-1AP
其中A为对角矩阵，P为单位正交阵。对于一般的方阵而言，不一定能对角化，对于对称矩阵而言，必能对角化，而且对于正定矩阵有$\lambda$_i>0。
设A=$\left[\begin{array}{ccc}{\lambda }_1& & \\ & {\lambda }_2& \\ & & {\lambda }_n\end{array}\right]$,P^T=$(u_1,u_2,u_n)$

B=$\left[\begin{array}{c}{u}_1\\ u_2\\ u_n\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & \\ & {\lambda }_2& \\ & & {\lambda }_n\end{array}\right]\left[\begin{array}{ccc}{u}_1& u_2& u_n\end{array}\right]$

=${\lambda }_1{u}_1{u}_1^T+{\lambda }_2{u}_2{u}_2^2+...+{\lambda }_n{u}_n{u}_n^T$
现假设${\lambda }_1>{\lambda }_2>...>{\lambda }_n$，则可以取前面几个占比重比较大的特征值，来实现矩阵的压缩。

矩阵的SVD分解

对于任意矩阵$A_{m\times n}$，$A^{T}A$满足对称半正定性，则有$A^{T}A=P^{T}DP$
已有结论：对于矩阵$AB$和矩阵$BA$，它们不为$0$的特征值必相等。
可由换位公式$|\lambda I-AB|={\lambda }^{m-n}|\lambda I-BA|$ 证明。
设$A^{T}A$的特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，则
$A_{m\times n}=V_{m\times m}^T\left[\begin{array}{ccc}{\sqrt{\lambda }}_1& & \\ & {\sqrt{\lambda }}_2& \\ & & {\sqrt{\lambda }}_n\end{array}\right]U_{n\times n}$

其中$U_{n\times n}$为特征值所对应的特征向量(正交基)，所以
$V_{n\times n}^T=A_{m\times n}{U}_{n\times n}\left[\begin{array}{ccc}1/{\sqrt{\lambda }}_1& & \\ & 1/{\sqrt{\lambda }}_2& \\ & & 1/{\sqrt{\lambda }}_n\end{array}\right]$

令$V_{n\times n}^T=\left[\begin{array}{cccc}{v}_1& v_2& ...& v_n\end{array}\right],U_{n\times n}^T=\left[\begin{array}{cccc}{u}_1& u_2& ...& u_n\end{array}\right]$

则有$A_{m\times n}={\sqrt{\lambda }}_1{v}_1{u}_1^T+{\sqrt{\lambda }}_2{v}_2{u}_2^T+...+{\sqrt{\lambda }}_n{v}_n{u}_n^T$
可应用于图像压缩和减少矩阵运算。
例如：图像压缩存储最小需要$m+n+1$（第一项)
当压缩存储量为$(m+n+1)\ast K$时，误差为：
$error=1-\frac{{\sum }_{i=1}^k{\lambda }_i}{{\sum }_{i=1}^{min(m,n)}{\lambda }_i}$