为什么Sigmoid和Tanh激活函数会导致梯度消失？_sigmoid函数为什么会出现梯度消失-CSDN博客

本文链接：https://blog.csdn.net/weixin_43687366/article/details/108846886

从生物学上来说，是因为人脑的细胞接受刺激从而产生活动，首先需要一定的阈值，没有达到阈值，几乎没用。而不同的刺激产生的输出也是不同的，达到一定值后就饱和了，再加大也没用。

（1）Sigmoid函数

数学公式：

$\sigma (z)=\frac{1}{1+e^{-z}}$

Sigmoid激活函数的曲线如图1所示，输入z映射到区间（0，1），当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于0。

它的导数为：

$f(z)^{'} = f(z)(1-f(z))$

在这个情况下，当z很大或很小时都会趋近于0，造成梯度消失的现象。

（2）Tanh激活函数

数学表达式：

$f(z) = tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}$

当z很大时，f(z)趋近于1；当z很小时，f(z)趋近于-1，其导数如下：

$f(z)^{'} = 1-(f(z))^{2}$

此时当z很小或很大时就会趋近于0。同样会出现梯度消失问题。

从图可以看出，其实Tanh函数相当于Sigmoid的平移。

1 import matplotlib.pyplot as plt  
2 import numpy as np 
3 # 生成x数据
4 x = np.linspace(-10,10,100)
5 y = np.tanh(x)
6 plt.plot(x,y)
7 plt.show()

现有的一些激活函数：