本文介绍了矩阵的特征分解和奇异值分解（SVD）的概念。特征分解适用于方阵，而SVD则可以处理任意形状的矩阵，它是线性代数中的一个重要工具。SVD在数据压缩和主成分分析(PCA)中有广泛应用，通过选取最大的几个奇异值，可以对矩阵进行降维处理，实现数据的近似和压缩。PCA利用SVD提取最具影响力的信息，通过保留最重要的奇异值和对应的特征向量来重构矩阵。
方阵特征分解
矩阵A用特征分解：
A
=
W
ξ
W
−
1
A = W\xi W^{-1}
A=WξW−1
- W为n个特征向量组成的nxn的矩阵
- ξ \xi ξ为矩阵A的n个特征值
如果要进行特征分解，矩阵A必须为方阵。
那么如果A不是方阵，即行和列不相同时，我们还是可以对矩阵进行分解
SVD
矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：
A
=
U
ξ
V
T
A= U \xi V^{T}
A=UξVT
- U为一个m x m的矩阵
- ξ \xi ξ 为一个m x n的矩阵，
- V是一个n x n 的矩阵
如果不对 ξ \xi ξ进行处理，那么矩阵A通过分解，不损失任何精度。
SVD相当于线性变换， 右奇异矩阵则是一个新的坐标系，奇异值则对应这个新坐标系中每个基对于整体数据的影响大小，我们这时便可以提取奇异值最大的k个基，作为新的坐标，这便是PCA的原理。
比如这个图 ， 去top3的特征值 ， 同时去掉对应的UV矩阵中的行列，再向图上的方法进行整合， 可以得到一个近似A矩阵的矩阵 ， 这个矩阵是经过压缩的， 这也就是PCA。
参考
https://zhuanlan.zhihu.com/p/29846048
扫一扫
530
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
