降维方法：PCA & Spectral Clustering

PCA降维与Spectral Clustering（普聚类）降维有很多的共同之处。因此一起写个备忘。

 

        设原始矩阵为A，假设为64*64。PCA需要生成的关系矩阵为协方差矩阵，设为B，同样为64*64。生成矩阵B的特征向量及特征值。将特征值由大到小排序。取最大的特征值对应的特征向量C。显然C为一个一维列向量。将C转置，左乘原矩阵A，及D=C*A，得到一个1*64的矩阵。D为最终的矩阵。可见PCA能达到降维的目的。

 

       再说说普聚类。普聚类中的降维所用到的是Laplacian矩阵。设原矩阵为A，将无穷远关系设为0后，所得关系矩阵为B，则diagnal（D）=sum（B，2）。即D为一个对角矩阵，对角线为B每行的和，其他元素均为0。拉普拉斯矩阵L=I-D-0.5*A*D-0.5。其中I为对角单位阵。对L采取与PCA同样的方法降维，只是这次所取的不是最大特征值所对应的特征向量，而是最小的。同样可以达到降维的效果。