激活函数简单理解

随着网络层数的加深，会出现梯度弥散或者梯度爆炸：
梯度弥散就是指梯度在反向传播的过程中梯度越来越小，直至为0，导致网络参数不再更新。梯度爆炸就是指梯度在反向传播的过程中梯度越来越大，导致参数更新太快，无法训练。

梯度是从输出端根据loss求导反向传播的，根据求导的链式法则，靠近输入层的梯度是靠近输出层梯度累积的乘积，因此，连乘有可能会导致连乘的梯度越来越小或者越来越大，越来越小就叫梯度弥散，越来越大就叫梯度爆炸，越靠近输入端，梯度弥散和爆炸越容易发发生。

以前分析sigmoid激活函数，会出现梯度消失问题，这是由于在求导时，sigmoid只在0附近有值，而当偏离0太远时，梯度值趋近于0，因此，在反向传播一定距离后，出现梯度趋于0的概率增大，导致参数不更新，就产生了所谓的梯度弥散。

而使用relu激活函数不会存在这个问题，因为relu激活函数在x小于0时，梯度为0，这样会使结果产生所谓的稀疏性，而当x大于0时，梯度为常数，就不会像sigmoid一样，在离0很远的地方出现梯度接近0，而出现梯度弥散的问题