权重初始化

在开始训练网络之前，需要初始化网络的参数。

• 错误：全零初始化

  虽然可以假设最终的权重数值中，大约一半为正数，一半为负数，但不能因此把这些权重的初始值都设为 0。

  因为如果网络中的每个神经元都计算出同样的输出，它们就会在反向传播中计算出同样的梯度，从而进行同样的参数更新，导致所有隐层单元都只学习到一个相同的特征，神经元之间就失去了不对称性的源头。

• 小随机数初始化

  因此，权重初始值要非常接近 0 又不能等于 0。解决方法就是将权重初始化为很小的随机数值，以此来打破对称性 (Symmetry breaking)。对于 ReLU 激活函数, 权值通常初始化为:

  $$w=np.random.randn(n)\ast \sqrt{\frac{2}{n}}$$

  其中，randn() 函数是基于零均值和标准差的一个高斯分布来生成随机数。如果神经元刚开始的时候是随机且不相等的，那么它们将计算出不同的更新，各自学习到不同的特征。

• 偏置（biases）的初始化

  通常将偏置初始化为 0，这是因为随机小数值权重矩阵已经打破了对称性。对于 ReLU 非线性激活函数，有研究人员喜欢使用如 0.01 这样的小数值常量作为所有偏置的初始值，这是因为他们认为这样做能让所有的 ReLU 单元一开始就激活，这样就能保存并传播一些梯度。然而，这样做是不是总是能提高算法性能并不清楚（有时候实验结果反而显示性能更差），所以通常还是使用0来初始化偏置参数。