SVD分解过程
我们的原始数据样本:
A=np.array([[2, 4], [1, 3],[0,0]])
A
array([[2, 4],
[1, 3],
[0, 0]])
#转化为我们想要的A,将特征定为 axis=0
A=A.T
A
array([[2, 1, 0],
[4, 3, 0]])
调用 Numpy中的奇异值分解API:
#奇异值分解
np.linalg.svd(A)
得到的结果为三个数组 U*Sigma*V转置
(array([[-0.40455358, -0.9145143 ],
[-0.9145143 , 0.40455358]]),
array([ 5.4649857 , 0.36596619]) ,
array([[-0.81741556, -0.57604844, 0. ],
[-0.57604844, 0.81741556, 0. ],
[ 0. , 0. , 1. ]]))
现在看下数据A是如何奇异值分解的:
#U矩阵是通过A.dot(A.T)的特征值求得的(按照特征值由大到小排序)
np.linalg.eig( A.dot(A.T) )
(array([ 0.13393125, 29.86606875]), array([[-0.9145143 , -0.40455358],
[ 0.40455358, -0.9145143 ]]))
#奇异值(特征值的开根号)
np.sqrt(29.86606875),np.sqrt(0.13393125)
#V的转置是通过A.T.dot(A)的特征值求得的(按照特征值由大到小排序)
np.linalg.eig(A.T.dot(A))
(array([ 29.86606875, 0.13393125, 0. ]),
array([[ 0.81741556, -0.57604844, 0. ],
[ 0.57604844, 0.81741556, 0. ],
[ 0. , 0. , 1. ]]))
03
—
SVD降维实例
对于SVD的奇异值也是按照从大到小排列,而且奇异值梯度很大。在昨天,我们介绍过:在很多情况下,前10%,甚至有的1%的奇异值的和就占了全部的奇异值之和的99%,这是什么意思呢,这就表示原矩阵可以被压缩为一个很小的矩阵,并且还能保证其主要成分信息不会丢失。
也就是说,我们也可以用最大的 k 个的奇异值和对应的左右奇异向量来近似描述原始矩阵数据,如下图表达的含义:
接下来,我们实际演练下这个过程,利用 numpy库随机生成一个5*9的二维数组(也可以称为矩阵吧)A:
array([[6, 4, 9, 4, 2, 7, 6, 2, 6],
[6, 3, 0, 5, 6, 2, 5, 4, 8],
[6, 0, 4, 2, 3, 5, 4, 9, 7],
[6, 1, 3, 6, 5, 1, 3, 7, 1],
[4, 1, 6, 4, 2, 4, 1, 3, 6]])
那么如何先进行特征降维呢? 比如降维成 5* r 列,只要降维后的 r列能近似表达原矩阵就行吧,已知奇异值分解的公式:
因此如果想要把A降维成特征r个,那么只需要上个近似等式两边同乘以 Vr*n ,如下:
因为Vr*n是正交矩阵,所以V的转置等于V的逆,所以,上式进一步化简为:
这样,近似等号的右侧就是一个m*r的矩阵,它是将A矩阵压缩后的近似矩阵,V就是中间的变换矩阵。
借助numpy的API,我们发现取取3个奇异值,就已经表达了84%的奇异值的和,所以取前3个奇异值,因此,求出 U * Singular等于如下:(取小数点后1位显示)
array([[-15.3, 6.3, -0.8],
[-13.2, -3.9, -4.9],
[-14.5, -1.4, 2.9],
[-11.2, -4.6, 2.5],
[-10.9, 2.6, 0.6]])
这就完成了对特征的压缩,将含有9个特征的数据,最后压缩为3个特征。那么如何来按照行对数据压缩呢,和上面的原理差不多,在奇异值分解的等式两侧乘以 U的转置,就可以推导出下式,等号右边不就是 r*n的按行压缩后的矩阵吗!
至此,SVD按照特征压缩,和数据样本压缩,两个方向的压缩方法和例子就说完了,接下来看看它的实际应用吧。
04
—
数据压缩的实际应用
例如sklearn的 iris 经典数据集中,iris的4个特征,被PCA后,只提取了其中2个特征,便表达了其中的主要方差,这是一个数据降维的典型demo 。
另外,PCA的特征值分解和奇异值分解在图像处理,压缩方面也有很广的应用,可以将图像的数据做奇异值分解,然后降维处理,例如下面的图片,经过奇异值分解法获得的主成分提取后压缩后的图像,可以看到基本保留了原来的图像主要信息。
简单总结下,重点介绍了奇异值分解法压缩矩阵的原理,和一个实际的例子,最后实战介绍了PCA的实际应用。前面介绍了决策树的原理和例子解析,明天,基于次,再介绍一种经典的机器学习集成算法,XGBoost,它可是中国的科学家发明的。