深度学习基础（五）—— 数据预处理

1 PCA

主成分分析法，一般用于数据降维。WHY?
图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的16x16灰度值图像，记为一个256维向量 $\textstyle x \in \Re^{256}$，其中特征值 $\textstyle x_j$对应每个像素的亮度值。由于相邻像素间的相关性，PCA算法可以将输入向量转换为一个维数低很多的近似向量，而且误差非常小。

1.1 PCA实例

数据：

这些数据已经进行了预处理，使得每个特征$\textstyle x_1$ 和 $\textstyle x_2$ 具有相同的均值（零）和方差。PCA算法将寻找一个低维空间来投影我们的数据。从下图中可以看出，$\textstyle u_1$ 是数据变化的主方向，而 $\textstyle u_2$是次方向。

也就是说，数据在$\textstyle u_1$方向上的变化要比在 $\textstyle u_2$方向上大。为更形式化地找出方向 $\textstyle u_1$和$\textstyle u_2$，我们首先计算出矩阵$\textstyle \Sigma$，如下所示：

$$\Sigma = \frac{1}{m} \sum_{i=1}^m (x^{(i)})(x^{(i)})^T.$$
假设$\textstyle x$的均值为零，那么$\textstyle \Sigma$就是x的协方差矩阵。可以证明，数据变化的主方向$\textstyle u_1$就是协方差矩阵$\textstyle \Sigma$的主特征向量，而 $\textstyle u_2$ 是次特征向量。
先计算出协方差矩阵$\textstyle \Sigma$的特征向量，按列排放，而组成矩阵$\textstyle U$：

$$\begin{align} U = \begin{bmatrix} | & | & & | \\ u_1 & u_2 & \cdots & u_n \\ | & | & & | \end{bmatrix} \end{align}$$
此处，$\textstyle u_1$是主特征向量（对应最大的特征值），$\textstyle u_2$是次特征向量。以此类推，另记