machine learning 第八周 PCA

PCA主成份分析 (principal component analysis）

• 为何降维？？？

1. 为了可视化 2.为了找到问题的主要矛盾：数据压缩

• PCA基本思想

找一个k维的平面，原始数据都投影到这个平面上来，s.t.内积的error最小

 

note that：lr和pca不同 ，lr是垂直的，pca是投影的

 

• 算法具体内容

1.预处理：feature scaling(不同feature放同一个量级上)/mean（均值零）

2.算相关系数矩阵sigma，然后奇异值分解得u，取前面k个就行了 ，至于k怎么取，就看你想对数据有多少代表性了，99%k就取多一点，85%k就少一点

 

• 重建数据

俩式子。k越大，重建就相似度就越大，等于n就100%重建了。

 

• 一些提醒

用pca大法降维后就可以用别的方法了。pca先用在无标签的 x，后续就根据需要选择算法，是想无监督还是监督，无所谓。

 

不好的使用方法：1.用pca防过拟合。还是用正则话吧。。

2.别一上来就用pca。先用raw data吧。