神经网络---数据预处理

在开始训练网络之前，良好的数据预处理和参数初始化能够达到事半功倍的效果。
处理数据和训练模型的技巧

1. 数据预处理
   中心化：每个特征维度都减去相应的均值实现中心化，使得数据变成0均值，特别对于一些图像数据，为了方便我们将所有的数据都减去一个相同的值
   标准化：在使得数据都变成0均值之后，还需要使用标准化的做法让数据不同的特征维度都有着相同的规模。做法：(1)除以标准差，这样可以使得新数据的分布接近标准高斯分布；(2)让每个特征维度的最大值和最小值按比例缩放到-1~1之间

2. 权重初始化
   批标准化：标准化这个过程是可微的，减少了很多不合理初始化的问题，可以将标准化过程应用到神经网络的每一个层做前向传播和反向传播，通常批标准化应用在全连接层后面、非线性层后面(激活函数)

3. 防止过拟合
   如果网络容量过大会造成过拟合，但是防止过拟合的最佳方法并不是减少网络容量。
   (1)正则化:对于权重过大的部分进行惩罚………让参数更新之后更加靠近0
   (2)Dropout

未完待续