自问自答3——深度学习中如何避免梯度消失（待回答）

上一问中，我们回答了为什么要避免梯度爆炸/消失现象。现在我们来聊聊如何避免梯度消失问题。
上一节，我们表示梯度消失现象处于loss-w图中的bad位置。那么为了解决梯度消失问题，我们需要让参数远离bad位置。

预防：避免梯度消失出现。

（1）损失函数本身
可以通过巧妙设计使得损失-权重图中这样的bad位置比较少出现。

• 网络模型
  LSTM、GRU

• 激活函数
  ReLU

（2）让参数远离bad位置
在损失-权重图中bad位置固定的情况下，需要让参数初始值及更新路径远离bad位置。

• 参数初始化

修复：当梯度消失出现时，如何解决？