Nd = dim(data) 代表数据的维数, Sc = num(Comp)代表主成分的个数(Nd = Sc ),在实际情况中,往往取前k << Nd个主成分便能解释数据的方差程度超过90%,因此能够在只丢失少量消息的情况,达到大规模减少数据维度的效果,无论对于建立模型、提升性能、减少成本都有很大的意义。 从某种意义上讲,PCA只是将很多相互间存在线性关系的特征,转换成新的、相互独立的特征,从而减少特征数量。对此,它需要借助特征值来找到方差最大的主成分,每一个特征值对应一个特征向量,特征值越大,特征向量解释数据矩阵的方差的程度越高。因此,只需要将特征值从大到小排列,取出前k个特征向量,便能确定k个最重要的主成分。 PCA算法通常包括如下5个步骤: A 平均值归一化,减去每个特征的平均值,保证归一化后的数据平均值为0 B 计算协方差矩阵,每两个特征之间的协方差 C 计算协方差矩阵的特征向量和特征值 D 将特征向量根据对应的特征值大小降序排列,特征向量按列组成FeatureVector = (eig_1, eig_2, …,eig_n) E RowFeatureVector = t(FeatureVector) (转置),eig_1变为第一行,RowDataAdjusted = t(DataAdjusted), 特征行变为列,得到最终的数据。 FinalData = RowFeatureVector X RowDataAdjusted 从维度变化的角度出发 协方差矩阵:n x n , FeatureVector: n x n,RowFeatureVector:n x n, n为特征数量 DataAdjusted:m x n, RowDataAdjusted: n x m 取前k个特征向量, RowFeatureVector:k x n 那么FinalData: k x m, 这样便实现维度的降低。
> photo.flip <- flip(raster.photo, direction = "y")
##将数据转换为矩阵形式
> photo.raster <- t(as.matrix(photo.flip))
> dim(photo.raster)
[1] 288 196
> image(photo.raster, col = grey(seq(0, 1, length = 256))) ##灰化处理
复制代码
##奇异值进行分解
> photo.svd <- svd(photo.raster)
> d <- diag(photo.svd$d)
> v <- as.matrix(photo.svd$v)
> u <- photo.svd$u
取第一个奇异值进行估计,如下左图
> u1 <- as.matrix(u[, 1])
> d1 <- as.matrix(d[1, 1])
> v <- as.matrix(v[, 1])
> photo1 <- u1 %*% d1 %*% t(v)
> image(photo1, col = grey(seq(0, 1, length = 256)))
复制代码
取前五十个奇异值进行模拟,基本能还原成最初的模样,如上右图
> u2 <- as.matrix(u[, 1:50])
> d2 <- as.matrix(d[1:50, 1:50])
> v2 <- as.matrix(v[, 1:50])
> photo2 <- u2 %*% d2 %*% t(v2)
> image(photo2, col = grey(seq(0, 1, length = 256)))
复制代码
当我们尝试用更多的奇异值模拟时,会发现效果越来来越好,这就是SVD的魅力,对于降低数据规模、提高运算效率、节省存储空间有着非常棒的效果。原本一张图片需要288 X 196的存储空间,经过SVD处理后,在保证图片质量的前提下,只需288 X 50 + 50 X 50 + 196 X 50的存储空间仅为原来的一半。 2.1 SVD理论基础 SVD算法通过发现重要维度的特征,帮助更好的理解数据,从而在数据处理过程中减少不必要的属性和特征,PCA(主成分分析)只是SVD的一个特例。PCA针对的正方矩阵(协方差矩阵),而SVD可用于任何矩阵的分解。 对于任意m x n矩阵A,都有这样一个等式 Am x n = Um x r Sr x r VTn x r U的列称为左奇异向量,V的列称为右奇异向量,S是一个对角线矩阵,对角线上的值称为奇异值, r = min(n, m)。U的列对应AAT的特征向量,V的列则是ATA的特征向量,奇异值是AAT和ATA共有特征值的开方。由于A可能不是正方矩阵,因此无法利用得到特征值和特征向量,因此需要进行变换,即AAT(m x m)和ATA(n x n),这样就可以计算特征向量和特征值了。 A = USVT AT = VSUT AAT = USVT VSUT = US2UT AAT U = U S2 同样可以推导出: ATA V = V S2 总结下来,SVD算法主要有六步: A 、计算出AAT B 、计算出AAT的特征向量和特征值 C、计算出ATA D 、计算出ATA的特征向量和特征值 E、计算ATA和ATA共有特征值的开方 F、计算出U、 S、 V