深度学习入门~随机初始化⑤

为什么需要随机初始化？

当你训练神经网络时，随机初始化非常重要。对于Logistic回归，将权重初始化为0是可以的，但对于神经网络，将参数全部初始化为0再使用梯度下降，完全不会有效果。

如上图，在上图所述的神经网络中，如果将W初始化为全0的 (2,2) 矩阵，那么隐藏层的两个神经元在做完全相同的计算，通过计算，它们得到的a相同。而在反向传播时，得到的导数dz也完全相同。此时，两个神经元的地位是完全相等的，我们说这使它们具有对称性，因此经过两次、三次迭代，通过W = W - α×dW更新的W值，第一行和第二行永远是相同的。
在这种情况下，设置多个神经元没有任何意义，因为它们在计算相同的东西。对于多个输入，隐藏层中有多个神经元的神经网络来说，如果将它们的参数都初始化为0，那么它们也是完全对称的，这样的计算没有任何意义。

解决方法：随机初始化

使用Python中的np.random.randn()方法，比如，对于下图所述的神经网络，可以将它初始化为：