SVD算法理解

最新推荐文章于 2024-05-14 00:07:10 发布

我承包的鱼塘

最新推荐文章于 2024-05-14 00:07:10 发布

阅读量7.7k

点赞数 1

分类专栏： AI平台-机器学习-语音-图像(python)

本文链接：https://blog.csdn.net/weixin_39594447/article/details/88585973

版权

18 篇文章 2 订阅

订阅专栏

SVD是一种强大的降维工具，同时也用于去噪，或图片压缩，本质上SVD是使用奇异值分解，这是矩阵中的一种解法。

SVD算法将原始数据 Data，分解为 U $\sum$ VT即:

$DATA = U\sum VT$

维度 DATA : (m, n)

U: (m, m) 其实U是一个正交矩阵，也是A*AT的特征向量

$\sum$ : (m, n) 对角线是按从大到小的奇异值，我们其实可以选取95%的奇异值，后面的奇异值可以认为是噪音，而抛弃

VT: (n, n) 其它VT也是一个正交矩阵，也是AT*A 的特征向量

如果我们选取奇异值为前k 个那么可以得出:

$DATA [m, n] \approx U[m, k]* \sum [k, k] * VT[k, n]$

到这里奇异值分解就完成，接下来是降维了，降维又考虑将DATA[m, n] 降m维度，还是将方向得维度(个人理解)

降m方向的维度是利用U来进行降维的:

NEWDATA'[k,n] = $\sum$ [k, k] * UT[k,m] * DATA[m,n]

NEWDATA[n,k] = DATAT[n, m]U[m,k]* $\sum$ [k, k]

降n方向的维度:

NEWDATA`[m, k] = DATA[m, n] * V[n, k]* $\sum$ [k, k]

NEWDATA[k, m] = $\sum$ [k, k]* VT[k,n] * DATAT[n,m]

编程上可以使用numpy库:

import numpy as np
U,Sigma, VT = np.linalg.svd(data)
#注意返回的Sigma是一维数组，这样更节省空间

SVD用途还挺广的，一般用于推荐系统，根据用户以往的数据对新菜品进行评分，可以使用基于协同过滤来计算，它的核心是

计算相似度，在信息检索中，也发挥它的作用.

关注