降维与压缩——奇异值分解（SVD）

最新推荐文章于 2024-04-27 13:48:10 发布

Jayphone17

最新推荐文章于 2024-04-27 13:48:10 发布

阅读量4.2k

点赞数 8

分类专栏：机器学习文章标签：机器学习人工智能数据分析线性代数 python

本文链接：https://blog.csdn.net/jayphone17/article/details/113106887

版权

一、特征值分解（EVD）的局限性

在进行主成分分析（PCA）的时候我们用到了特征值分解（EVD）的方法，这个方法很重要和很高效，但是同时也存在局限性。

那就是特征值分解要求矩阵必须是方阵并且一定能够被对角化。

那么扩展到一般情况，对于任意形状的矩阵的情况怎么办呢？比如说图片、数据表格等等。

那么奇异值分解（SVD）就进入了我们的视野，它可以对任意形状的矩阵进行分解，适用范围更广。

二、特征值分解的几何意义

我们一开始是获得一组原始的M X N 的数据采样矩阵A，其中M代表特征的个数，N代表样本个数。

$\large A$ 矩阵通过与自身的转置矩阵 $\large A^T$ 相乘， $\large AA^T$ 得到M阶的样本特征的协方差矩阵 $\large C$ 。

然后获取协方差矩阵 $\large C$ 的一组标准正交特征向量 $\large (q_1,q_2,q_3,...,q_m)$ 以及对应的特征值 $\large (\lambda_1, \lambda_2, \lambda_3,..., \lambda_m )$ 。

此时，我们对协方差矩阵 $\large C$ 进行特征值分解，将矩阵分解为这样的形式：

$\large C = [q_1,q_2,q_3,...q_m]\begin{bmatrix} \lambda _1 & & & &\\ & \lambda _2 & & &\\ & & \lambda _3 & &\\ & & & ... &\\ & & & & \lambda _m \end{bmatrix} \begin{bmatrix} q_1^T\\ q_2^T\\ q_3^T\\ ...\\ q_m^T\\ \end{bmatrix}$

最终通过获取前面k个特征值对应的特征向量，依次构成数据压缩矩阵 $\large P$ 的各行，通过矩阵相乘 $\large PA$ 进行投影达到数据压缩的目的。

我们可以看到，想要完成特征值分解，最终还是要回到 $\large Cq_i = \lambda _iq_i$ 这个式子上来。

三、入手奇异值分解——Av = σμ

如果不进协方差矩阵 $\large C$ 的获取，直接对原始的数据采样矩阵 $\large A$ 进行矩阵分解，进行降维操作，显然是不行的。

特征值分解有两个大前提，一是必须是方阵，二是必须能够满足对角化。

但是对于原始的m x n 矩阵 $\large A$ 可能连基本方阵的要求都达不到，根本无法进行特征值分解。

对于一个任意形状的m x n形状矩阵，我们有以下普遍意义的性质：

① 假设m>n，就有r≤n<m的不等关系

②在 $\large R^n$ 空间中一定有一组正交向量 $\large v_1,v_2,v_3,...v_n$ ，在 $\large R^m$ 空间中一定有一组正交向量 $\large v_1,v_2,v_3,...v_m$ ，

使之满足 $\large A\upsilon _i = \sigma_i\mu_i$ 。

在此基础上可以将

$\large A[v_1.v_2.v_3,...v_n] = [\sigma_1\mu_1,\sigma_2\mu_2.\sigma_3\mu_3,...,\sigma_n\mu_n]$

进一步转换为以下形式：

$\large A[v_1.v_2.v_3,...v_n] = [\mu_1.\mu_2,\mu_3,...\mu_n]\begin{bmatrix} \sigma_1 & & & & \\ & \sigma_2 & & & \\ & & \sigma_3 & & \\ & & & ... & \\ & & & & \sigma_n \end{bmatrix}$

在这个分解的式子下，我们发现基向量 $\LARGE u_{_{^{n+1}}},u_{_{^{n+2}}},u_{_{^{n+3}}},...,u_{_{^{m}}}$ 没有包含在内。

将其添加到矩阵右侧，得到完整的m阶方阵

最低0.47元/天解锁文章

Jayphone17

关注

8
点赞
踩
39

收藏

觉得还不错? 一键收藏
0
评论
降维与压缩——奇异值分解（SVD）

一、主成分分析（PCA）的局限性二、特征值分解的几何意义三、入手奇异值分解——Av = σμ四、利用奇异值分解进行数据降维1.列压缩数据降维2.行压缩数据降维3.矩阵整体进行数据压缩五、利用python进行奇异值分解...
复制链接

扫一扫