深度学习之神经网络权重初始化

	各层的激活值的分布都要求有适当的广度。为什么呢？因为通过在各层间传递多样性的数据，神经网络可以进行高效的学习。反过来，如果传递的是有所偏向的数据，就会出现“梯度消失"或者“表现力受限”的问题，导致学习可能无法顺利进行。

假设神经网络有5层，每层有100个神经元。然后，用高斯分布随机生成1000个数据作为输入数据，并把它们传给5层神经网络。
1.使用sigmoid函数作为激活函数：



2.使用ReLU作为激活函数：

总结一下，当当激活函数使用ReLU时，权重初始值使用He初始值，当激活函数为sigmoid或tanh等S型曲线函数时，初始值使用Xavier初始值。这是目前的最佳实践。