PCA和AVD

Cr: https://www.cnblogs.com/hadoop2015/p/7419087.html

Cr：https://www.cnblogs.com/zy230530/p/7074215.html

PCA

一、使用PCA降维的好处：寻找在均方意义下，最能代表原始数据的投影方法

1. 特征多余：比如拿到一个汽车的样本，里面既有以“千米/每小时”度量的最大速度特征，也有“英里/小时”的最大速度特征。
2. 特征间相关性很强，可以适当合并。
3. 特征数特别多而样例特别少，已造成过拟合。
4. 去除噪声。

二、原理描述：

PCA(principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据压缩算法。

在PCA中，数据从原来的坐标系转换到新的坐标系。转换坐标系时，以方差最大的方向作为坐标轴方向（数据的最大方差给出了数据最重要的信息）。第一个新坐标轴的选择是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个坐标轴正交且方差第二大的方向。重复该过程，且重复次数为原始数据的特征维数。

在新坐标系中，大部分方差都包含在前面几个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们忽略余下的坐标轴，只保留前面几个含有大部分方差的坐标轴，实现了数据特征的降维处理。数学上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值和特征向量，选择特征值最大（即包含方差最大的）N个特征对应的特征向量组成的矩阵，我们就可以把数据矩阵转换到新的空间当中，实现数据特征的降维。

均值、方差、协方差计算公式：方差和协方差除n-1是为了得到各自的无偏估计

首先根据矩阵的协方差的特征值和特征向量，得到最大的N个特征值对应的特征向量组成的矩阵，可以称之为压缩矩阵；得到压缩矩阵之后，将去除均值的数据矩阵乘以压缩矩阵（去中心化），就实现了将原始特征转化为新的特征空间特征。

去中心化：PCA实则就是对协方差矩阵进行对角化，从协方差矩阵的定义看： Σ=E{(x-E(x)) * (x-E(x))T}，PCA的第一步就是要去均值化。

三、缺点：

1、主成分解释其含义往往具有一定的模糊性，不如原始样本完整

 

2、贡献率小的主成分往往可能含有对样本差异的重要信息

3、特征值矩阵的正交向量空间是否唯一有待讨论

4、无监督学习

5、SVD通常比直接使用PCA更稳定

SVD

Cr:https://blog.csdn.net/zk_j1994/article/details/76796616

懒得写了，下次再总结