目的:高维数据降维(合并带有重复信息的特征,删除带有无效信息的特征)
降维的作用:
1. 避免维度灾难:维度过多导致的精度下降
2. 压缩数据的同时让信息损失最小
3. 利于可视化
信息量衡量指标:方差
步骤
1. 每组特征减去均值
2.计算协方差矩阵
3.计算特征值、特征向量
4.特征值从小到大排列,保留k个最大的特征值
5.根据对应特征向量求新的特征空间
Eg:从二维降到一维
我们知道,PCA是将已存在的特征进行压缩,降维完毕后的特征不是原本的特征矩阵中的任何一个特征,而是通过某些方式组合起来的新特征。通常来说,在新的特征矩阵生成之前,我们无法知晓PCA都建立了怎样的新特征向量,新特征矩阵生成之后也不具有可解释性。新特征虽然带有原始数据的信息,却已经不是原数据上代表着的含义了。因此,以PCA为代表的降维算法是一种特征创造的方法。
所以,PCA一般不适用于探索特征和标签之间的关系的模型(如线性回归等),因为无法解释的新特征和标签之间的关系不具有意义。在线性回归模型中,一般使用特征选择。