深度学习-六种权重初始化

模型权重的初始化对于网络的训练很重要, 不好的初始化参数会导致梯度传播问题, 降低训练速度; 而好的初始化参数, 能够加速收敛, 并且更可能找到较优解。

• 六种权重初始化
  

一、W初始化为0

在线性回归和logistics回归中可以使用，因为隐藏层只有一层。在超过一层的神经网络中就不能够使用了。因此如果所有的权重参数都为0，那么所有的神经元输出都是一样的，在back propagation的时候向后传递的梯度也是一致的，将无法发挥多层的效果，实际上相当于一层隐藏层。

二、W高斯随机初始化

我们来分析一层卷积：

其中ni表示输入个数。
那么方差为下面这个公式：

在前向网络中，W*X，如果W初始化为一个小于1的值，在训练过程中会导致会出现梯度弥散的情况，高层的神经元方差和均值趋于0，从而不被激活。但是如果把权重初始成一个比较大的值，大于1。则会造成前向传播时，神经元要么被抑制，要么被饱和。梯度更新时，