激活函数总结(一) 1 引言 2 常用激活函数介绍 2.1 Sigmoid激活函数 2.2 Tanh激活函数 2.3 ReLU激活函数 2.4 Leaky ReLU激活函数 2.5 Parametric ReLU(PReLU)激活函数 2.6 Swish激活函数 3. 总结 总结的激活函数都在目录中有所展示,如果找不到你想查看的激活函数,请去这里寻找:激活函数总结(二)!!! 1 引言 激活函数是神经网络模型重要的组成部分。在神经网络模型中,激活函数提供了非线性建模能力(不带激活函数的感知元是线性的),进而帮助网络学习数据中的复杂模式。 2 常用激活函数介绍 2.1 Sigmoid激活函数 Sigmoid激活函数将输入值压缩到0到1之间的范围,公式和数学图片分别如下所示: f ( x ) = 1 / ( 1 + e − x ) f(x) = 1 / (1 + e^{-x}) f(x)=1/(1+e −x ) Sigmoid函数在早期的神经网络中广泛使用。然而,它有一些问题,如梯度消失和梯度爆炸,导致在深层网络中训练困难,因此现在使用较少。 当前更多的是用于二分类中。 2.2 Tanh激活函数 Tanh激活函数是Sigmoid的改进版,将输入值映射到一个范围在-1到1之间的值,公式和数学图像分别如下所示: f ( x ) = ( 2 / ( 1 + e − 2 x ) ) − 1 f(x) = (2 / (1 + e^{-2x})) - 1 f(x)=(2/(1+e −2x ))−1 相较于Sigmoid激活函数,Tanh激活函数的输出范围更广,因此在某些情况下,它能带来更好的表现。然而,类似于Sigmoid,Tanh仍然存在梯度消失问题,特别是对于较深的神经网络。 当前更多的是用于类似于LSTM网络结构的后面。 2.3 ReLU激活函数 ReLU(Rectified Linear Unit)是目前使用最广泛的激活函数之一。ReLU函数在输入为正数时直接输出输入值,而在输入为负数时输出为0,公式和数学图像分别如下所示: f ( x ) = m a x ( 0 , x ) f(x) = max(0, x) f(x)=max(0,x) 相比于Sigmoid和Tanh,ReLU的梯度更大,且在深层网络中具有较快的训练速度。然而,ReLU也存在一个问题,当输入为负数时,梯度为0,导致对应的神经元无法更新权重,这被称为"神经元死亡"问题。 当前在各种任务下广泛使用(不包括多分类任务)。 2.4 Leaky ReLU激活函数 为了解决ReLU的"神经元死亡"问题,Leaky ReLU引入了一个小的斜率(通常为0.01)来保证在输入为负数时仍然有梯度。Leaky ReLU函数的定义和数学图像分别如下所示: f ( x ) = m a x ( a x , x ) f(x) = max(ax, x) f(x)=max(ax,x) 其中,a是一个小于1的常数。这使得Leaky ReLU在某些场景下表现更好,但对于a的选择需要小心,过大的值可能导致函数失去非线性特性。 当前已没有特定使用情况,同等情况下(PReLU 和Swish 激活函数可能会有更好的表现)。 2.5 Parametric ReLU(PReLU)激活函数 Parametric ReLU是Leaky ReLU的扩展版本,它允许斜率参数a成为可学习的参数,这样网络可以自动调整斜率。这一特性使得Parametric ReLU更加适应不同的数据分布和任务,减少了手动调整的需求。 2.6 Swish激活函数 Swish激活函数在近年来被提出,它是一个平滑的激活函数。Swish函数在输入为正数时与ReLU相似,在输入为负数时逐渐趋近于0。Swish函数的表现相对于ReLU在一些情况下更好,但在某些场景下可能受到影响,因此使用时需谨慎权衡。函数公式和数学图像分别如下所示: f ( x ) = x ⋅ s i g m o i d ( β x ) f(x)=x⋅sigmoid(βx) f(x)=x⋅sigmoid(βx) 其中,β ββ 是一个常量或一个可学习的参数。 β = 1 β = 1β=1, f ( x ) = x ⋅ s i g m o i d ( x ) f(x)=x⋅sigmoid(x)f(x)=x⋅sigmoid(x),相当于Sigmoid-weighted Linear Unit (SiL) β = 0 β = 0β=0,Swish 变成了缩放线性函数 f ( x ) = x / 2 f(x) = x/2f(x)=x/2 β → ∞ β → ∞β→∞,sigmoid 分量接近 0-1 函数,因此 Swish 变得像 ReLU 函数 3. 总结 到此,使用 激活函数总结(一) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出,后续会对其进行添加!!!! 如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。 ———————————————— 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原文链接:https://blog.csdn.net/qq_36758270/article/details/130561225
直接复制有问题删除
于 2024-08-01 19:38:58 首次发布