降维——PCA

降维是机器学习中对数据的一种处理方法，目的是使数据变得易于处理，和数据可视化，提取有效信息摒弃无效信息。
比如，你将要处理一组数据，这个数据每个样本都有几十个维度，当你对这组数据进行降维处理后每个样本变成了三维甚至是一维(也就是说用一维数据或者三维数据来表示这个样本)，这时在对这个数据进行处理就会方便很多。同时你在压缩时也要考虑数据的有效性，意思是：在压缩数据后有效信息应尽可能地多，不能在进行降维处理后样本的意义发生改变。举个例子：假设你现在要做一个手写数字识别，我们知道对于一个数字图像，一大部分都是无用的信息只有一小部分才表示数字。那么降维就是试图把那些无用的白点给舍弃，尽可能的保留那些表示数字的黑色点。
降维有很多种方法，可以分为线性映射和非线性映射。线性映射又包括PCA LDA SVD分解等方法。非线性映射则又分为 核方法 二维化 流形学习。核方法：有++KPCA KFDA++ 流形学习则是++ISOmap LLE LPP++等
本文主要介绍PCA，其余的几种方法抽空不上，尽量不咕。
在以上提到的种种方法中，其实都可以归为两种方法：投影和流形学习。
投影：在很多样本中数据大多不是均匀分布在各个维度，很多特征之间是强相关的，那么这样的训练数据实际上可以投影在低维空间中，这就是投影，PCA就是一种投影的思想。
PCA的性质是保留方差最大，最终重构误差最小
主要思想是$AX=\lambda X$ 其中$\lambda$表示特征值，X表示特征方程。
保留最大方差：
我们可以想到如果一个高维数据在降维后数据不能有效分离数据之间相互包含，就意味着不能很好地提取数据，那么降维也就失去了主要意义。于是我们就想要降维后的低维数据的方差尽可能大，保留的有效信息就会尽可能的多。
接下来就是具体流程： 首先要对数据X进行预处理，也就是整体减去数据的平均值，这样做那么整体的平均值则为0（具体原因在公式中详说）处理过的数据才是我们真正使用的X，然后求这个数据的协方差(++你也许会有疑问为什么这里要求协方差？++)这一点，在后面的讲解中会给与解答还请耐心看下去。求得协方差后，就去求协方差的特征值和特征向量，所求的特征值就是投影后的信息量，而特征向量就是投影的方向。
下面就来讲一下上面提到的疑惑：
首先假设一个投影为$\upsilon$,那么一个样本数据在这个投影上的投影长度为

$$\frac{v^{T}x}{||v||}$$

如果$\upsilon$为单位向量则式子就变为

$$v^{T}x$$
有上文可知X的均值已经为0(看这里就是让数据均值为0的作用)
所以：
$$\mu (X,v)=0$$

接下来我们来求整体的方差：

1 m ∗ ∑ i = 1 n ​ ( X V − μ ) 2