SVD矩阵物理意义

一.SVD定义

二.SVD解释

试着解释一下SVD矩阵：在我看来，SVD是对数据进行有效特征整理的过程。首先，对于一个m×n矩阵A，我们可以理解为其有m个数据，n个特征，（想象成一个n个特征组成的坐标系中的m个点——即n维坐标系中的m个点），然而一般情况下，这n个特征并不是正交的（即n维坐标系不是正交的），也就是说这n个特征并不能归纳这个数据集的特征（即n个特征并不能归纳这m个数据的特征）。SVD的作用就相当于是一个坐标系变换的过程，从一个不标准的n维坐标系，转换为一个标准的k维坐标系，并且使这个数据集中的点，到这个新坐标系的欧式距离为最小值（也就是这些点在这个新坐标系中的投影方差最大化），其实就是一个最小二乘的过程。进一步，如何使数据在新坐标系中的投影最大化呢，那么我们就需要让这个新坐标系中的基尽可能的不相关，我们可以用协方差来衡量这种相关性。$A^{T}A$中计算的便是n×n的协方差矩阵，每一个值代表着原来的n个特征之间的相关性。当对这个协方差矩阵进行特征分解之后，我们可以得到奇异值和右奇异矩阵，而这个右奇异矩阵则是一个新的坐标系，奇异值则对应这个新坐标系中每个基对于整体数据的影响大小，我们这时便可以提取奇异值最大的k个基，作为新的坐标系，这便是PCA的原理。

因此SVD的过程就是通过变换，将原空间的能量重新聚集分配
这句话来源：https://blog.csdn.net/qq_32742009/article/details/82286434#

三.一些实际的工程应用案例

图像处理领域：https://blog.csdn.net/du_shuang/article/details/81252214

---

复述一些点：
1.这个右奇异矩阵则是一个新的坐标系。
我的理解：因为A是m×n的矩阵，有m个样本，每个样本有n个特征。也可以理解为，n个坐标系里面有m个点。右奇异矩阵就是一个新的两两相互垂直的新坐标系，然后奇异值的大小，就代表了某个坐标系（基）上对整体数据（这里是m个数据）的影响大小。
2.右奇异矩阵应该是固定样本（点）的数量，压缩冗余的特征，左奇异矩阵是固定样本特征（这里是n个特征），去掉冗余的样本（这里样本为m）。

---

疑问：从一个不标准的n维坐标系，转换为一个标准的k维坐标系，是否是一个降维的过程？n维坐标系不是两两正交的，降低下来的k维坐标系是否是两两正交的？

参考资料：https://www.zhihu.com/collection/354543721的回答
https://blog.csdn.net/du_shuang/article/details/81252214