机器学习（PCA）

---

前言

PCA运用线性代数进行数据降维，属于无监督学习方法之一。其实现过程为通过寻找k个向量，将数据投影到这k个向量展开的线性子空间上，以最小化投影误差。

---

一、PAC与线性回归之间的关系

1、线性回归的目的是给定输入特征量x，预测出某变量y的值。因此在线性回归中会拟合一条直线，使得预测值与真实值之间的距离最小。PCA的目的是将数据投影到低维特征空间，使得投影误差最小。
2、线性回归中用所有的x值来预测一个特殊的变量y。而PCA中，所有特征向量$$x_1,x_2,...x_n$$是等价的。

二、PCA算法

训练集：有m个样本，每个样本的特征维度为n$$x^{(1)},x^{(2)},...x^{(m)}$$

数据预处理（特征缩放/均值归一化）
1、计算每个特征的均值
2、每个特征减去其均值
3、如果不同的特征具有不同的尺度，如x1表示房子的大小，x2表示卧室的数量，对特征进行缩放，使其具有相同的范围

特征均值的计算公式为:$${\mu }_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)}$$

将n维数据降到k维：
1、计算协方差矩阵
2、求解特征值和单位特征向量e
3、按照特征值从大到小的顺序，排列单位特征向量，得到转换矩阵P，并依据PX计算出主成分矩阵
4、用特征值计算主成分的方差贡献率和累计方差贡献率，选择k个主成分

降维之主成分分析法