【深度学习】常用的激活函数

最新推荐文章于 2025-03-27 17:53:42 发布

马苏比拉米G

最新推荐文章于 2025-03-27 17:53:42 发布

阅读量5k

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_44388679/article/details/102944707

版权

深度学习专栏收录该内容

15 篇文章

订阅专栏

本文深入讲解了激活函数在神经网络中的作用，包括Sigmoid、Tanh、ReLU、LeakyReLU、Maxout和GELU等常见类型。分析了各自的优缺点，探讨了梯度消失、收敛速度等问题，为深度学习模型的选择提供了实用建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、什么是激活函数

神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。
在这里插入图片描述

二、常用的几种激活函数

1、Sigmoid函数

（1）数学公式
$\displaystyle \sigma(x) =\frac{1}{1+e^{x}}$
（2）导数公式
$\sigma ( x)'$ = $\displaystyle \sigma ( x)( 1-\sigma ( x))$
（3）函数图像及导数图像
在这里插入图片描述
（4）优缺点

优点：
1）求导容易，利用其本身函数值即可；
2）它能够把输入的连续实值变换为0和1之间的输出
缺点：
1）容易引起梯度消失。如，初始化神经网络的权值为 [0,1]之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0到0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象；当网络权值初始化为 (1,+∞) 区间内的值，则会出现梯度爆炸情况（较少出现）。
2）输出不以0为均值，如果数据输入神经元是正的，那么会导致计算的梯度也始终为正。如， $x > 0$ , $\displaystyle f=w^{T} x+b$ 那么对w求局部梯度则都为正，这样在反向传播的过程中w要么都往正方向新，要么都往负方向更新，导致有一种捆绑的效果，使得收敛缓慢。
3）解析式中含有幂运算 $\displaystyle e^{-x}$ ，计算机求解时相对来讲比较耗时。对于规模比较大的深度网络，这会较大地增加训练时间。

2、Tanh函数

（1）数学公式
$\displaystyle tanh( x) =\frac{e^{x} -e^{-x}}{e^{x} +e^{-x}}$
（2）导数公式
$t a n h (x)^{'}$ = $\displaystyle 1-( tanh( x))^{2}$
（3）函数图像及导数图像
在这里插入图片描述
（4）优缺点

优点
输出以0为中心。
比sigmoid函数训练时收敛更快。
缺点
仍然是饱和函数，没有解决梯度消失问题。

3、ReLU函数

（1）数学公式
$\displaystyle Relu\ =\ max( 0,x)$
（2）导数公式
在这里插入图片描述
（3）函数图像及导数图像

（4）优缺点

优点
1）解决了gradient vanishing问题 (在正区间)
2）计算速度非常快，只需要判断输入是否大于0
3）收敛速度远快于sigmoid和tanh
缺点
1）ReLU的输出不是zero-centered
2）Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

4、Leaky ReLU

（1）函数公式
在这里插入图片描述
（2）导数公式
![在这里插入图片描述](https://img-blog.csdnimg.cn/201911
（3）函数图像及导数图像

左半边直线斜率非常接近0，所以看起来像是平的(如 $α = 0.01$ )。
（4）优缺点
Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题。但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

5、Maxout

（1）数学公式：
$\displaystyle max( w_{1} x+b_{1} ,w_{2} x+b_{2})$
（2）优缺点
$R e l u$ 激活函数只是 $M a x o u t$ 中 $w_{1}=0$ , $b_{1}=0$ 的特殊形式。因此 $M a x o u t$ 既有着 $R e l u$ 激活函数的优点，同时也
避免了 $R e l u$ 激活函数训练脆弱的缺点。它的缺点是加倍了模型的参数，导致了模型的存储变变大。

6、gelu

详细介绍：https://blog.csdn.net/sinat_36618660/article/details/100088097
https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc添加链接描述

三、应用中如何选择合适的激活函数？

1、深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。所以要尽量选择输出具有zero-centered特点的激活函数以加快模型的收敛速度。
2、如果使用 Relu，那么一定要小心设置 learning rate，而且要注意不要让网络出现很多 “dead” 神经元，如果这个问题不好解决，那么可以试试 Leaky Relu或者 Maxout.
3、最好不要用 sigmoid，你可以试试 tanh，不过可以预期它的效果会比不上Relu和 Maxout.

参考文献：
1、常用激活函数（激励函数）理解与总结：https://blog.csdn.net/tyhj_sf/article/details/79932893
2、神经网络中的常用激活函数和导数：https://blog.csdn.net/lw_power/article/details/90291928