2020-5-10 吴恩达-NN&DL-w3 浅层NN(3.11 随机初始化-否则完全对称，多个隐藏单元没有意义)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

3.11 随机初始化 Random Initialization

训练NN时，权重随机初始化是很重要的。
逻辑回归，权重初始化为0是可以的。但是如果把NN的各个参数数组全部初始化为0，那么梯度下降算法会无效。

为什么会这样呢？

观察上面的网络。

• 有2个输入特征，n^[0]=2
• 有2个隐藏单元，n^[1]=2

所以隐藏层参数矩阵 W^[1]维度是2 x 2。初始化为0，那么 W [ 1 ] = [ 0 0 0 0 ] W^{[1]}=\begin{bmatrix} 0 & 0 \\ 0 & 0 \\ \end{bmatrix} W[1]=[00​