svd降维 python案例_聊聊SVD（奇异值分解）降维

SVD(Singular Value Decomposition，奇异值分解)是机器学习领域中很常用的算法；比如在文本分类场景中，在求解完语料的Tfidf后，紧跟着会进行SVD降维，然后建模。另外在推荐系统、自然语言处理等领域中均有应用；今天主要聊一聊SVD的降维。

下图展示了一个利用SVD对图片压缩降噪的例子；在取不同比例奇异值时，图片信息的损失变化情况不同。在取80%奇异值时，原图片整体表现清晰，轮廓明显；60%奇异值时，信息损失较大，人脸已不太清楚，但图片人物整体轮廓依旧明显；通过降维使得图片保留了主要信息而剔除掉了很多不重要的数据。

那么究竟什么是SVD?

SVD是对矩阵进行分解，假如待分解的矩阵A是一个

矩阵，那么对矩阵A的SVD分解即：

。

其中U是一个

的矩阵；Σ是一个

的矩阵，Σ除了主对角线上的元素以外其他元素全为0，主对角线上元素称为奇异值；V是一个

矩阵。为了更容易理解，我绘制了下图：

那么如何求解奇异值？

更详细的推导过程，读者可以参考链接：

此处不再对原理做过多阐述，主要从python实现上结合例子给大家展示。

如何快速上手？

基于开头图片处理的例子，我们可以利用PIL.Image和numpy.linalg.svd来实现操作，具体是

from PIL import Image

import numpy as np

import matplotlib.pyplot as plt

def rebuild_img(u, sigma, v, p):

"""u：矩阵Usigma：矩阵sigmav：矩阵Vp：奇异值的百分比"""

a = np.zeros((len(u), len(v))) # a是sigma矩阵的空壳

count = (int)(sum(sigma)) # 统计所有奇异值之和，方便后续按其计算百分比

m,k = 0,0

while m <= count * p:

a[k,k] = sigma[k]

m += sigma[k]

k += 1

a = np.dot(np.dot(u,a),v) # 矩阵计算

a = np.clip(a,0,255)

return np.rint(a).astype("uint8")

b = np.array(Image.open('/.../dota2/火女.jpg', 'r'))

for p in np.arange(0.0, 1.2, 0.2):

u, sigma, v = np.linalg.svd(b[:, :, 0])

R = rebuild_img(u, sigma, v, p)

u, sigma, v = np.linalg.svd(b[:, :, 1])

G = rebuild_img(u, sigma, v, p)

u, sigma, v = np.linalg.svd(b[:, :, 2])

B = rebuild_img(u, sigma, v, p)

I = np.stack((R, G, B), 2)

plt.figure("beauty")

plt.imshow(I)

plt.axis('off')

plt.show() # 绘图输出

从公式或者代码示例中都可以看出，SVD在计算过程中原矩阵的维度其实是不变的 ，但是在取n%的奇异值时，重新计算回去的原矩阵中元素值显著降低，秩也降低，整体来看数据得到了压缩和衰减；或许这一称之为一种降维吧。