机器学习——主成分分析（PCA，纯理解）

略略翻了下书，差点儿窒息在床上…
看了几个博主的笔记，有点儿头疼
不知道是不是神经裂开生成新突触，还是脑细胞坏死前最后的呐喊

重点看了三篇，觉得非常惊艳，易于理解的

先看了主成分分析的原理详解，但还是稀里糊涂的，什么协方差
再看了协方差，还看了协方差矩阵
理解后，再看PCA的数学原理，就会有一种醍醐灌顶的清澈

再次感叹，世界上原来那么多善良的博主造福人类
但看完后，还是自己再梳理一下，就当消磨时间吧

首先，PCA是对数据进行损失较小的降维

在梳理PCA和SVD的降维效果时，忽然又丰富了对SVD的认识，SVD不仅可以降维，还可以压缩数据。
但是深入去分析SVD的降维数学推导，似乎头又有些疼了。。。西批优卡冒烟了吧
玩了几个小时的游戏，吃了乱七八糟的零食
磨磨蹭蹭地，还是爬起来梳理PCA了，梳理完要去吃好吃的，看辣妈辣妹，再玩几把游戏！抚慰headache
我爱数学，数学爱我，阿弥陀佛

PCA的是将多个特征，通过线性变换缩成几个特征，实现降维，并且使损失的信息尽可能小

减少特征就是降维，目的是将重复的信息去掉，这就涉及了线性相关。

由于线性相关是表示一个向量可以被另一个向量线性表示，因此，为了减少重复的信息，PCA会将线性相关的信息去掉，最终用线性无关的几个特征来表示原始数据。

其实这个过程，就是将原始特征维度上的数据，映射到线性无关的新维度上。

这是否意味着，只要求出原始数据上的特征向量，用特征向量组成的特征矩阵作为新维度，不就可以了吗？

不，不是这样的，这种思想就是特征值分解。

PCA是既要找到线性无关的新维度，同时还要尽可能保留原始信息，不让信息有过多的损失。

那么，就是要求投影后的特征数据，尽可能分散开，不要重叠在一块。
因此，要用到方差来表示分散程度，方差越大，则投影后的数据越分散。


降低信息损失的同时，还要让找到的特征，尽可能地线性无关。

线性无关，在数学中可以用协方差来表示。
协方差可以表示两个特征的联合变动情况。
当协方差为0时，表示两个特征线性无关。

所以，PCA的目的，就是要找到一组新的维度，使得原始数据投影到新维度后，特征的方差达到最大（尽可能减少原始信息的损失），特征与不同特征之间的协方差为0（减少重复信息，线性无关）。

这就要借助一个数学工具：协方差矩阵

协方差矩阵

这个协方差矩阵，不仅包含了不同特征之间的协方差，还包含了相同特征的方差值。

主对角元素为特征的方差值，其余全是不同特征的协方差值。

根据PCA的核心要求，是要是线性变换到新维度后的特征数据的协方差值为0，方差最大。

那么假设线性变换前的原始特征数据为X，将原始特征数据X减去各特征值的均值${\mu }_{前}$，得到原始数据$X_1$

而原始特征数据的协方差矩阵可求出来，简称为$C=\frac{1}{m}{X}_1{X}_1^T$

假设线性变换后的特征数据为Y，且将特征数据Y减去各特征值的均值${\mu }_{后}$，得到特征数据$Y_1$

而变换后的特征数据的协方差假设为D，$D=\frac{1}{m}{Y}_1{Y}_1^T$，且变换后的协方差矩阵D应该是各对角矩阵
(注：这里的m表示的是样本量，特征数据变换，并不改变样本量)

假设，线性变换的矩阵为P，P是对$X_1$变换，得到$Y_1$

那么，$Y_1=P{X}_1$

这里的C、$X_1$、都是已知的，但D、$Y_1$、P都是未知的，现在就是要根据已知，来求出未知的P，尤其是P非常关键

我们知道 $D=\frac{1}{m}{Y}_1{Y}_1^T=\frac{1}{m}P{X}_1(P{X}_1{)}^T=\frac{1}{m}P{X}_1{X}_1^T{P}^T=P（\frac{1}{m}{X}_1{X}_1^T）P^T=PC{P}^T$

所以可以看出，要找到一个矩阵P，满足$D=PC{P}^T$，使矩阵C经过$PC{P}^T$变换，使D为对角阵

这个公式就很眼熟，特征值分解，不就是这样的么

$A=W\Sigma W^T$，其中Σ是特征值组成的对角特征矩阵，W是对应的特征向量组成的矩阵，可以转换为$W^{T}AW=\Sigma$

因此，对应的原始特征数据的协方差矩阵C，也有$W^{T}CW=D$

所以，只要求出C的特征值矩阵Σ（即D）和特征向量组成的矩阵W（即P），即可！

所以步骤列为如下：
①计算原始特征数据减去各特征均值后的特征数据$X_1$
②计算特征数据$X_1$的协方差矩阵$C=\frac{1}{m}{X}_1{X}_1^T$
③计算协方差矩阵C的特征值和特征向量组P，这个特征向量组P即为线性变换矩阵
④保留特征值较大的前k个值，得到新的P
④计算经过特征向量组P（线性变换）后的特征数据$Y_1=P{X}_1$

困惑：原始特征数据，是减去了各自的特征均值μ后，才进行的计算
而最终计算出来的$Y_1$，实际也是直接减去均值了的，那怎么能直接表示最终的特征数据呢？
难道$Y_1$不是应该还要加回原本减掉的均值，才能变回正常的特征数据$Y$吗？

唉。。。。要发扬不求甚解的精神，以后有时间或者偶然能看到的话，再解答这个疑惑吧

反正，PCA的主体思想理解了，就完事了