2020-5-24 吴恩达-改善深层NN-w1 深度学习的实用层面(1.11 神经网络的权重初始化--减少梯度爆炸或过快消失-初始化权重矩阵的方差公式)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

1.11 神经网络的权重初始化 Weight Initialization for Deep NetworksVanishing / Exploding gradients

【本节内容似懂非懂，还需要扩展研究一下】

3.11 随机初始化 中使用的是随机数乘以一个小常数，例如0.01，避免隐藏单元完全对称，失去多隐藏单元的意义
本节根据不同激活函数使用随机数乘以一个公式，除了避免隐藏单元完全对称，还可以减少梯度爆炸或过快消失

针对深度NN的梯度消失和梯度爆炸问题，我们想出了一个不完整的解决方案，虽然不能彻底解决问题，却很有用，有助于我们为NN更谨慎地选择随机初始化参数。

先以单个神经元为例。

上图是单个神经元。
有4个输入特征x₁,x₂,x₃,x₄,激活函数a=g(z)，预测值$\hat{y}$。

和上节课一样，还是先忽略b，b=0，可以得到
$$z=w_1{x}_1+w_2{x}_2+w_3{x}_3+......+w_n{x}_n$$
为了预防z值过大或过小，由于z是$w_i{x}_i$的和，如果你把很多此类项相加，那每项$wx$乘积值应该更小，所以n越大，你希望$w_i$越小。

最合理的方法就是设置方差$w_i=\frac{1}{n}$，n表示神经元的输入特征数量。
实际上，你要做的就是设置某层权重矩阵
$w^{[l]}=np.random.randn(shape)\ast np.sqrt(\frac{1}{n^{[l-1]}})$
$\frac{1}{n^{[l-1]}}$是第l层每个神经单元特征数量分之一。$n^{[l-1]}$是l层拟合的单元数量（即第l-1层神经单元数量，l层每个神经单元特征数量=l-1层神经单元数量）。

如果你使用的是Relu激活函数，方差$w_i=\frac{2}{n}$，效果会比$\frac{1}{n}$更好。

你常常发现，初始化时，尤其是使用Relu激活函数时，即$g^{[l]}=Relu(z)$，它取决于你对随机变量的熟悉程度。

【补充】
—————————————— begin ——————————————————————
参考 https://blog.csdn.net/zenghaitao0128/article/details/78556535
重点

• np.random.randn()函数可以返回一个或一组服从标准正态分布的随机样本值。
• 当randn()有两个及以上参数时，则返回对应维度的数组，能表示向量或矩阵。
• 标准正态分布是正态分布(高斯分布)的一种，具有正态分布的所有特征。
• 在NN构建中，权重参数W通常采用该函数进行初始化，当然需要注意的是，通常会在生成的矩阵后面乘以小数，比如0.01，目的是为了提高梯度下降算法的收敛速度。

W = np.random.randn(2,2)*0.01 #产生参数为(2,2)的高斯分布随机变量，再乘以0.01可以生成一个很小随机数

• 该函数在前面已经介绍随机初始化时候也提到过，参考链接
  —————————————— end ——————————————————————

所以，$np.random.randn(shape)\ast np.sqrt(\frac{2}{n^{[l-1]}})$表示高斯分布随机变量乘以$\frac{2}{n^{[l-1]}}$的平方根，也就是方差$w_i=\frac{2}{n}$。这里我们用的是$n^{[l-1]}$，因为本例中，逻辑回归的特征是不变的。但一般情况下l层上的每个神经元都有$n^{[l-1]}$个输入。

如果激活函数的输入特征被零均值和标准方差化，方差是1，即归一化输入，z也会调整到相似范围，这就没解决梯度消失和爆炸问题。

但它确实降低了梯度消失和爆炸问题，因为它给权重矩阵w设置了合理值，你也知道，它不能比1大很多，也不能比1小很多，所以梯度没有爆炸或消失过快。

我们已经看到，这里的Relu函数用的是公式$np.sqrt(\frac{2}{n^{[l-1]}})$初始化权重的方差。
对于tanh激活函数，常量1比常量2的效率更高，使用的是公式$\sqrt{\frac{1}{n^{[l-1]}}}$，作用和Relu函数的$np.sqrt(\frac{2}{n^{[l-1]}})$一样，它被成为被称为Xavier初始化。

实际上，我认为上面的这些公式只是给你一个起点，它们给出初始化权重矩阵的方差的默认值。
如果你想添加方差，方差参数则是另一个你需要调整的超级参数。
可以给公式$\sqrt{\frac{1}{n^{[l-1]}}}$添加一个乘数参数，调优作为超级参数激增一份子的乘子参数。

有时调优该超级参数效果一般，这并不是我想调优的首要超级参数，但我发现调优过程中产生的问题，虽然调优该参数能起到一定作用，但考虑到相比调优，其它超级参数的重要性，我通常把它的优先级放得比较低。

通过本节介绍，希望你现在对梯度消失或爆炸问题以及如何为权重初始化合理值已经有了一个直观认识，希望你设置的权重矩阵既不会增长过快，也不会太快下降到0，从而训练出一个权重或梯度不会增长或消失过快的深度网络。