数据降维、主成分分析方法（PCA）

把数据从二维降至一维

三维到二维

 

 

找出最小投影误差的平面 

 

线性回归和PCA之间的区别

 

1.左图是线性回归，距离是竖直的，用x来预测结果y

2.右端是PCA，是垂直于线的，所有x样本都被平等对待 

3.但线性回归和PCA都是为了寻找蓝线距离平方之和的最小值

 

 

PCA

 

u代表维度坐标，z代表投影到维度上的点

 

矩阵U,S,D

U矩阵和Z矩阵

 

Z矩阵是一个K行一列的的矩阵

PCA过程

1.进行均值归一化后，确保每一特征都是均值为0的任选特征缩放

2.计算载体矩阵sigma （协方差矩阵）

 

PCA所要做的就是将样本数据投影到一条线或者一个平面上并求出最小化平方投影误差的线或者面

低维到高维

 

 

 

选取K的数值

 

 

 

 

PCA的应用

 

 

 

PCA不能用来防止过拟合

 

PCA能不用则不用