Deep learning I - III Shallow Neural Network - Random Initialization深度学习随机初始化的必要性

Random Initialization 随机初始化参数 W & b

---

Reference：Thanks for Deep Learning from Coursera, especially Andrew Ng’s team

1. 对于linear regression，将参数都初始化为0是可取的，随着梯度下降，参数不断更新至收敛
2. 对于Neural Network，将参数都初始化为0会造成相应layer上的Neuron完全对称相同，通过反向传播算法更新值时，同样会是完全对称相同
3. 所以，初始化NN参数时，使用随机初始化初始值，并使用较小的初始值，因为如tanh激励函数，在z值较少的时候导数较大，可以较快的更新下降