机器学习（9）-PCA主成分原理与实现

1.降维

简单粗暴的说:降低自变量的个数,可以简化问题,便于分析
比方说:在***多元线性回归***中提到的,并不需要所有的自变量,只需要挑选出几个最重要的自变量,再去进行分析
同时,这也有利于进行可视化分析

2.降维的方法

• 特征选择
  1.反向淘汰 2.顺向选择 3.双向淘汰 4.信息量比较
  思想是:原有的自变量不变,只进行提取
  比如10个自变量,提取出5个进行分析

• 特征提取
  1.PCA主成分 2.kernel PCA
  就是提取的新的5个自变量已经不是原来的自变量了,即重新排列组合得到

3.PCA介绍

一种无监督模型,在具有m条自变量的数据中,PCA从中提取出p个新的自变量,p≤m,可以较好地解释数据自变量的方差(差异性)
注意:不关乎因变量是什么
其实,PCA也可以叫寻找最大方差的方向,将下图的两类数据运用一次PCA

得到下面的图,可以观察到,在PC1的方向上,数据的差异是比较大的,PC2的方向上数据的差异较小,那就可以说,PC1是最大方差的方向

找到了最大方差的方向之后,其他的数据就很可能是噪音了,便可以删除