梯度消失和梯度爆炸原因及其解决方案

参考  梯度消失和梯度爆炸原因及其解决方案 - 云+社区 - 腾讯云

当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题：

首先，梯度消失或梯度爆炸

其次，训练缓慢

第三，训练参数大于训练集的风险

梯度消失的原因：

---

生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Sigmoid 函数。但事实证明，Relu 激活函数通常在 ANN 工作得更好。这是生物研究误导的例子之一。

当神经网络有很多层，每个隐藏层都使用Sigmoid函数作为激励函数时，很容易引起梯度消失的问题

我们知道Sigmoid函数有一个缺点：当x较大或较小时，导数接近0；并且Sigmoid函数导数的最大值是0.25

我们将问题简单化来说明梯度消失问题，假设输入只有