把数据从二维降至一维
三维到二维
找出最小投影误差的平面
线性回归和PCA之间的区别
1.左图是线性回归,距离是竖直的,用x来预测结果y
2.右端是PCA,是垂直于线的,所有x样本都被平等对待
3.但线性回归和PCA都是为了寻找蓝线距离平方之和的最小值
PCA
u代表维度坐标,z代表投影到维度上的点
矩阵U,S,D
U矩阵和Z矩阵
Z矩阵是一个K行一列的的矩阵
PCA过程
1.进行均值归一化后,确保每一特征都是均值为0的任选特征缩放
2.计算载体矩阵sigma (协方差矩阵)
PCA所要做的就是将样本数据投影到一条线或者一个平面上并求出最小化平方投影误差的线或者面
低维到高维
选取K的数值
PCA的应用
PCA不能用来防止过拟合
PCA能不用则不用