机器学习（五）PCA数据降维

PCA数据降维

原文地址：http://blog.csdn.net/hjimce/article/details/45000221 

作者：hjimce

一、PCA相关理论

PCA算法又称主成分分析，是一種分析、簡化數據集的技術。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。

PCA不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。

二、PCA算法实现

对于PCA数据降维算法一开始经常和SVD奇异分解搞混了，其实这两个可以说扯不上关系，SVD分解是一种矩阵分解的解法，可以用于求取一个非方阵矩阵的特征值和特征向量。下面先从PCA算法流程讲起：

(1)对于给定的二维数据点集P(x,y)，求取这些散乱点的重心坐标

(2)把散乱点的重心坐标平移到原点，同时构造新数据矩阵：

注意上面每个点，需要写成列向量的形式，这样构造的M矩阵是一个2行，n列的矩阵

(3)构造协方差矩阵，协方差矩阵为：

由于M矩阵是的矩阵，则最后的协方差矩阵为的矩阵，存在两个特征值和特征向量。

(4)求解A矩阵的特征值，特征向量，那么特征值最大对应的特征向量，为数据点位置方差变化最快的方向，如下图，直线的方向向量即为A矩阵的最大特征向量的方向，而A矩阵的另外一个特征向量，即为垂直于该直线的方向向量。

 

(5)设求解出的A矩阵的特征向量为，上图的二维特征向量就是直线的法向量和垂直于该直线的法向量。接着把所有的原来数据点P(x,y)，投影到这些特征向量上，得到对应的系数，其实这一步很简单，只需要把P(x，y)与特征向量点乘，即

即可转换到特征空间的投影坐标B，也就是相当于转换到相对以特征向量为坐标轴方向的相对坐标系下。

那么同理，如果要把数据从相对坐标系转换到世界坐标系下就要用公式：

这就是PCA算法，数据重建的公式。

(6)数据降维，说的简单一点就是丢弃掉一些特征向量，然后进行重建数据，比如所我现在要把上面的二维数据降为1维，那么我重建数据的公式就要由：

变为

也就是说与数据重建的结果无关，数据存储的时候，只需要存一维坐标，然后由重建降维后的数据，而原来每个样本点的需要存储(x,y)两个数据，这就是所谓的数据降维。

x=importdata('x.txt'); y=importdata('y.txt'); data(:,1)=x; data(:,2)=y; plot(data(:,1),data(:,2),'.k'); %计算平均值 [m n]=size(data); meanx=sum(data(:,1))/m; meany=sum(data(:,2))/m; covariation=data; covariation(:,1)=covariation(:,1)-meanx; covariation(:,2)=covariation(:,2)-meany; %协方差矩阵 comatrix=covariation'*covariation; %矩阵分解 通过svd计算的结果需要转换，才能得到特征向量， % 而eig是不需要转换的，不过eig好像没有对特征向量的值进行排序 [s v d]=svd(comatrix); [u1,eigD] = eig(comatrix) for i=1:n u(:,i)=1/sqrt(v(i,i))*comatrix*d(:,i); end hold on; plot([0+meanx,u(1,2)+meanx],[meany,u(2,2)+meany],'-y'); %计算特征空间中的坐标 figure(2); hold on; for i=1:m newpca(i,1)=covariation(i,:)*u(:,1); newpca(i,2)=covariation(i,:)*u(:,2); end plot(newpca(:,1),newpca(:,2),'.k'); % x=u(1,2)*u1(2,1);判断是否平行 % y=u(2,2)*u1(1,1); % plot([0+meanx,u1(1,1)+meanx],[meany,u1(2,1)+meany]); % plot([0+meanx,u1(1,2)+meanx],[meany,u1(2,2)+meany]);

当然对于真正的数据，往往不仅仅是2维的，可以有更高维的向量，比如在机器学习领域，对于一张的图片，每一个样本的维数就是400维，存在着大量的冗余数据，因此降维是很有必要的。

***********作者：hjimce     联系qq：139385268    更多资源请关注我的博客：http://blog.csdn.net/hjimce                  原创文章，转载请注明出处 *********************