数据预处理

一、处理方法

    中心化和归一化是常用的方法，处理的结果是均值为0，方差为1

二、为什么要进行归一化？

1. 把所有的数据进行归一化之后，原有网络只需不断的学习同一个范围内的数据即可；如果不归一化，则学习完一个范围内的数据之后，还需要学习另一个范围内的数据，导致学习成本增加，还可能引起参数震荡

2. 增强系统的鲁棒性

比如要对红色和蓝色区域进行二元分类，虽然不归一化的情况下也能很好的实现，但如果直线稍微转动一点，则会完全破坏分类；这就意味着损失函数对权重矩阵中的线性分类器的微小扰动非常敏感，对参数向量非常敏感；对于右面的图，分类直线做微小的转动，仍然可以正确分类，这意味着损失函数对参数中的微小改变不那么敏感了，优化会更容易