PCA学习总结

　斯坦福大学的《机器学习》课程有两个星期没看了，最近一直忙着论文，考试。这周开了几门新课，其中模式识别、知识发现与数据开采。这两门跟机器学习相关很大。通过前段时间的自学，现在听着老师讲课，有种豁然开朗的感觉。之前听斯坦福大学的课程都是在本子上做笔记，第一次在博客上写机器学习的学习总结，写的目的主要是理清一下自己的思路，把自己懂的不懂的记录一下，也是对知识的一种回顾。

　　主成分分析PCA（Principal Components Analysis）

　　目的：特征很多是和类标签有关，但里面存在噪声或冗余，这种情况，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。

　　思想：将n维特征映射到K维上（k<n）,这k维是全新的互交特征，这k维特征称为主元，是重新构造的k维特征，而不是简单从n维特征中去除n-k维特征。

　　计算过程：

　　例：二维样本数据 Data:X（1.5,0.5,2.2,1.9,3.1,2.3,2,1,1.5,1.1）T;Y(2.4,0.7,2.9,2.2,3.0,2.7,1.6,1.1,1.6,0.9)T,X,Y代表特征，向量代表数据。

可以认为，有10篇文档，X是“learn”出现的TF-IDF,Y是“study”出现的TF-IDF。问题：想将二维样本数据降成一维数据。

　　步骤：

　　1，求X,Y平均值，然后对所有样例，都减少相应均值。

　　　　X均值=1.81，Y均值=1.91.

　　　　DataAdjust: X(0.69,-1.31,0.39,0.09,1.29,0.49,0.19,-0.31,-0.71)T;Y(0.45,-1.21,0.99,0.29,1.09,0.79,-0.31,-0.31,-1.01)T

　　2,求特征协方差矩阵。

　　3，求协方差的特征值和特征向量

　　4，将特征值按照从大道小顺序排序，选择其中最大k个，然后对其对应的k个特征向量分别作为列向量组成的特征向量矩阵。

　　5，将样本投影到选取的特征向量上。

　　　　FinalData(m*k)=DataAdjust(m*n)*Eigenvecters(n*k)

　　　　融合成一个新特征，叫LS特征，该特征基本代表这两个特征。

　　PCA理论基础

　　1，最大方差理论

　　2，最小错误理论

　　3，坐标轴相关度理论　　

 

转载于:https://www.cnblogs.com/lskyne/archive/2012/11/14/2770816.html