数据预处理方式（去均值、归一化、PCA降维）

一.去均值

1.各维度都减对应维度的均值，使得输入数据各个维度都中心化为0，进行去均值的原因是因为如果不去均值的话会不容易拟合。   这是因为如果在神经网络中，特征值x比较大的时候，会导致W*x+b的结果也会很大，这样进行激活函数（如relu）输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行计算，所以会导致梯度消散问题，导致参数改变量很小，也就会不易于拟合，效果不好。

右图为去均值之后的效果。

                 

二.归一化

1.一种是最值归一化，比如把最大值归一化成1，最小值归一化成-1；或把最大值归一化成1，最小值归一化成0。适用于本来就分布在有限范围内的数据。        

       另一种是均值方差归一化，一般是把均值归一化成0，方差归一化成1。适用于分布没有明显边界的情况。

                           

2. 进行归一化的原因是把各个特征的尺度控制在相同的范围内，这样可以便于找到最优解，不进行归一化时如左图，进行归一化后如右图，可发现能提高收敛效率，省事多了。

    

三.PCA/白化

1.PCA是指通过抛弃携带信息量较少的维度，保留主要的特征信息来对数据进行降维处理，思路上是使用少数几个有代表性、互不相关的特征来代替原先的大量的、存在一定相关性的特征，从而加速机器学习进程。（降维技术可单独讲）      

 PCA可用于特征提取，数据压缩，去噪声，降维等操作。      

2.白化的目的是去掉数据之间的相关联度和令方差均一化，由于图像中相邻像素之间具有很强的相关性，所以用于训练时很多输入是冗余的。这时候去相关的操作就可以采用白化操作，从而使得:                    

       1.减少特征之间的相关性                    

       2.特征具有相同的方差（协方差阵为1）      

3.举个白化的例子，如对于两个特征的关联分布如左图，可以看出特征组合点存在线性关系，此时我们进行白化后（特征向量的投影）可以变成右图的形式，无关联性。    

而且白化因为进行了方差均一化，所以还可以提升训练速度。