数据预处理和权重初始化

图二是0中心化数据：每一个数据样本除以所有的样本均值得到。缺点：数据Y轴变化幅度（抖动幅度）比X轴要大；

图三是归一化数据：需要求数据样本的方差。数据x和y值都在0,1之间。

 

权重初始化：

1、网络权重不能够（全部？部分?）初始化为0；

2、网络权重不能全部初始化为同一个数值，比如1？，2？，这样都不好。这样网络在反向传播更新权重的时候，都是朝着同一个方向进行更新，没有侧重点来更新网络参数，会导致收敛周期非常长。

3、通常使用高斯初始化或者随机初始化。

4、bias初始化：0或者1比较普遍的初始化方式。

 

drop-out:随机选择输出为0

优点：使得神经网络的结构变得简单点，降低网络的过拟合现象；

          计算量变小，加快网络收敛。