训练神经网络失败的原因（上）

原文链接
根据原文讲述 原因大致如下：

1. 没有对数据进行归一化

神经网络中对数据进行归一化是不可忽略的步骤，网络能不能正常工作，还得看你有没有做归一化。这个步骤是非常重要的，深度学习领域的人都很清楚，因此论文中也很少有提及到。但是对于初学者来说，很容易在这里栽跟头，比如说我。

一般来讲，归一化就是减去数据平均值除以标准差，通常是针对每个输入和输出特征进行归一化。

需要归一化的首要原因就是大部分神经网络都是假设输入数据和输出数据都服从均值为0方差为1的正态分布。这些假设在深度学习文献中随处可见，从权重初始化，激活函数到训练网络的优化算法。

未经训练的神经网络输出值大致在-1到1。如果你希望输出其它范围内的值（例如像素值为0到255的8位RGB图像），你就会遇到一些问题。当开始训练这个网络的时候就会很不稳定，因为当预计值为255时，它将产生-1或1的值。这在大多数用于训练网络的优化算法中是错误的。因为这会产生一个很大的梯度，训练误差将会越来越大。某种程度上，如果你的训练正常的话那么开始的几个训练阶段也是浪费的，因为网络学习的第一件事就是将输出值缩放并将其转换为大致所需的范围。如果你归一化了你的数据，那么这些问题将不存在。

一般来说，神经网络的特征尺度也将决定它们的重要性。如果你有一个很大值的输出特征那么与其它特征相比它会产生很大的误差。同样，大的特征尺度将主导网络，并导致后面网络会出现很大的改变。对于这个原因，仅仅使用神经网络库自动归一化是不够的，它们是在每个特征的基础上盲目的减去均值和除以标准差。你