SVD奇异值分解

概述

SVD应用：
1.用于数据降维、压缩和去噪；
2.用于PCA降维；
3.推荐系统、自然语言处理等。

SVD诞生：
Ax=λx，对A进行特征值分解A=WΣWT要求A必须为方阵、实对称矩阵（即A=AT），如果A不是方阵，SVD可以对矩阵A进行分解。

定义

求解过程

本质解析

图像压缩案例

import numpy as np
import cv2
import matplotlib.pyplot as plt

path = 'lena.jpg'
data = cv2.imread(path, cv2.IMREAD_GRAYSCALE)
data = np.mat(data)  # 需要mat处理后才能在降维中使用矩阵的相乘
U, sigma, VT = np.linalg.svd(data)
count = 20  # 选择前20个奇异值

dig = np.diag(sigma[:count])  # 获得对角矩阵
redata = U[:, :count] * dig * VT[:count, :]  # 重构后的数据

plt.imshow(data, cmap='gray')
plt.title("origin")
plt.show()
plt.imshow(redata, cmap='gray')
plt.title("SVD")
plt.show()

原图（400*500=200000）、
30个奇异值：（400+1+500）*30 = 27030，压缩比：200000/27020=7.4倍
20个奇异值：（400+1+500）*20 = 18020，压缩比：200000/18020=11.1倍
压缩效果对比，可以看出当奇异值越大时，它代表的信息越多，还原数据更真实。