重构大学数学基础_week02_SVD奇异值分解

江畔柳前堤

已于 2024-05-24 15:52:02 修改

阅读量529

点赞数 18

分类专栏：重构大学数学基础文章标签：重构机器学习人工智能线性代数

于 2024-05-23 12:30:33 首次发布

本文链接：https://blog.csdn.net/qq_51605551/article/details/139144292

版权

重构大学数学基础专栏收录该内容

8 篇文章 2 订阅

订阅专栏

上周我们说了PCA，那么同为数据降维的方法，今天我们来聊一聊矩阵的奇异值分解（SVD），同时说一下背后的实质。SVD有很多应用，比如机器学习里面特征提取和降维SVD是很关键的一步。

SVD奇异值分解我认为很类似于方阵中的正交对角化。我首先从方阵开始引入。

对于一个n阶对称矩阵A,如果我们求出了矩阵A的n个特征值，并且求出了这n个特征值对应的特征向量，如果这n个特征向量线性无关那么矩阵A可被特征分解为: $A=Q\sum Q^{-1}$

其中Q为n个特征向量组成的矩阵，Q=(q1,q2.....qn)其中qi为特征向量，∑为n个特征值组成的对角矩阵。

然后我们把Q中的特征向量给它单位化并正交化，即满足||qi|
|=1,qi* qj=0,此时的Q矩阵为正交矩阵，也叫酉(you)矩阵，即满足QQ-1 =I这个时候A又可被特征分解为 $A=Q\sum Q^{T}$

上式也成为正交对角化

但是，上面所述的特征分解要满足A矩阵为n阶方阵，要正交对角化还要满足A矩阵为对称矩阵，那么对于任意一个m*n阶的矩阵我们是否可以对它进行特征分解呢，这就引出了SVD。因此SVD的作用也就是解决了对于任意m*n阶矩阵的特征分解。

对于任意一个矩阵A，我们都可以将它分解为 $A=U\sum V^{T}$ ，其中U，V是正交矩阵，∑是对角矩阵（不一定是方阵），其主对角线上的每个值我们称为奇异值。

单位正交矩阵的性质：单位正交矩阵的列向量（或行向量）彼此正交（垂直），并且每个向量的长度为1。这意味着其转置矩阵等于其逆矩阵，且在几何上可以表示旋转、镜像和反射等线性变换。

我首先介绍一下线性空间中的旋转和压缩，如图所示，拉伸呢就相当于将这个线性变换用矩阵表示出来，其中这个矩阵的基向量进行了一个数乘，在几何意义上就能将数据做到一个拉伸的效果。

对于旋转，在线性代数中，如果一个矩阵只涉及在空间中的旋转效果，那么这个矩阵必定是一个正交矩阵。因为对于旋转矩阵而言，其行列式为1，因为旋转操作保持了空间的定向不变。

下面以2阶方阵为例。SVD呢就可以将一个MXN矩阵分解为三个矩阵，这三个矩阵分别代表的意义就是旋转，拉伸，旋转。看下面的图，V是原始空间的一组标准正交基，U是经过M变换后的标准正交基，且U的出现还经过了缩放，我们就可以建立一个等式。然后等式两边右乘V的转置（因为V是标准正交基，V的逆就等于V的转置）

我们就可以得到SVD的基本公式。 $M=U\sum V^{T}$

我们推广到m×n矩阵，如图所示，这里我将SVD与图像关联起来。我们可以尝试一下去掉最小的几个奇异值，就是去掉了不重要的主成分，可以肉眼可以看到，原始矩阵与未去掉最小奇异值的结果相差不大。进行矩阵乘法以后，我们可以看到，产生的都是秩为一的矩阵，图像的颜色以深浅去排列，我们可以假定奇异值代表一种透明度，将这三个矩阵与奇异值乘完叠起来，就是线性变换后的矩阵。这样，我们就做到了对图像的一个压缩。

那么我们知道了SVD的作用，如何进行SVD分解呢？我们可以先对M左乘一个M的转置，然后括号打开，根据正交矩阵的特性进行化简，就可以得到 $M^{T}M=V\sum \sum V^{T}$ ，其中 $\sum =\begin{bmatrix} \sigma1 &0 \\ 0&\sigma2 \end{bmatrix}$ ，将 $\sum \sum$ 写成L，就可以得到 $M^{T}M=VLV^{T}$ ，这样的话就又回到了方阵的特征值分解上。