机器学习算法（降维）—SVD奇异值分解

一、SVD奇异值分解的定义

    假设是一个的矩阵，如果存在一个分解：

其中为的酉矩阵，为的半正定对角矩阵，为的共轭转置矩阵，且为的酉矩阵。这样的分解称为的奇异值分解，对角线上的元素称为奇异值，称为左奇异矩阵，称为右奇异矩阵。

二、SVD奇异值分解与特征值分解的关系

    特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。然而，特征值分解只适用于方阵，而SVD奇异值分解适用于任意的矩阵，不一定是方阵。

 

这里，和是方阵，和为单位矩阵，为的特征向量，为的特征向量。和的特征值为的奇异值的平方。

三、SVD奇异值分解的作用和意义

    奇异值分解最大的作用就是数据的降维，当然，还有其他很多的作用，这里主要讨论数据的降维，对于的矩阵，进行奇异值分解

取其前个非零奇异值，可以还原原来的矩阵，即前个非零奇异值对应的奇异向量代表了矩阵的主要特征。可以表示为

四、实验的仿真

    我们在手写体上做实验， 原始矩阵为

原始矩阵

对应的图像为

对应图像

经过SVD分解后的奇异值矩阵为

部分奇异值矩阵

取前14个非零奇异值

前14个非零奇异值

还原原始矩阵B，还原后的图像为

还原后的图像

对比图像

对比图像

MATLAB代码

[plain] view plain copy

1. %% 测试奇异值分解过程  
2. load data.mat;%该文件是做好的一个手写体的图片  
3. B = zeros(28,28);%将行向量重新转换成原始的图片  
4.   
5. for i = 1:28  
6.     j = 28*(i-1)+1;  
7.     B(i,:) = A(1,j:j+27);  
8. end  
9.   
10. %进行奇异值分解  
11. [U S V] = svd(B);  
12.   
13. %选取前面14个非零奇异值  
14. for i = 1:14  
15.     for j = 1:14  
16.         S_1(i,j) = S(i,j);  
17.     end  
18. end  
19.   
20. %左奇异矩阵  
21. for i = 1:28  
22.     for j = 1:14  
23.         U_1(i,j) = U(i,j);  
24.     end  
25. end  
26.   
27. %右奇异矩阵  
28. for i = 1:28  
29.     for j = 1:14  
30.         V_1(i,j) = V(i,j);  
31.     end  
32. end  
33.   
34. B_1 = U_1*S_1*V_1';  
35.   
36. %同时输出两个图片  
37. subplot(121);imshow(B);  
38. subplot(122);imshow(B_1);