图二是0中心化数据:每一个数据样本除以所有的样本均值得到。缺点:数据Y轴变化幅度(抖动幅度)比X轴要大;
图三是归一化数据:需要求数据样本的方差。数据x和y值都在0,1之间。
权重初始化:
1、网络权重不能够(全部?部分?)初始化为0;
2、网络权重不能全部初始化为同一个数值,比如1?,2?,这样都不好。这样网络在反向传播更新权重的时候,都是朝着同一个方向进行更新,没有侧重点来更新网络参数,会导致收敛周期非常长。
3、通常使用高斯初始化或者随机初始化。
4、bias初始化:0或者1比较普遍的初始化方式。
drop-out:随机选择输出为0
优点:使得神经网络的结构变得简单点,降低网络的过拟合现象;
计算量变小,加快网络收敛。