直接复制有问题删除

激活函数总结（一）
1 引言
2 常用激活函数介绍
2.1 Sigmoid激活函数
2.2 Tanh激活函数
2.3 ReLU激活函数
2.4 Leaky ReLU激活函数
2.5 Parametric ReLU（PReLU）激活函数
2.6 Swish激活函数
3. 总结

总结的激活函数都在目录中有所展示，如果找不到你想查看的激活函数，请去这里寻找：激活函数总结（二）！！！
1 引言
激活函数是神经网络模型重要的组成部分。在神经网络模型中，激活函数提供了非线性建模能力（不带激活函数的感知元是线性的），进而帮助网络学习数据中的复杂模式。


2 常用激活函数介绍
2.1 Sigmoid激活函数
Sigmoid激活函数将输入值压缩到0到1之间的范围，公式和数学图片分别如下所示：
f ( x ) = 1 / ( 1 + e − x ) f(x) = 1 / (1 + e^{-x})
f(x)=1/(1+e 
−x
 )

Sigmoid函数在早期的神经网络中广泛使用。然而，它有一些问题，如梯度消失和梯度爆炸，导致在深层网络中训练困难，因此现在使用较少。
当前更多的是用于二分类中。

2.2 Tanh激活函数
Tanh激活函数是Sigmoid的改进版，将输入值映射到一个范围在-1到1之间的值，公式和数学图像分别如下所示：
f ( x ) = ( 2 / ( 1 + e − 2 x ) ) − 1 f(x) = (2 / (1 + e^{-2x})) - 1
f(x)=(2/(1+e 
−2x
 ))−1

相较于Sigmoid激活函数，Tanh激活函数的输出范围更广，因此在某些情况下，它能带来更好的表现。然而，类似于Sigmoid，Tanh仍然存在梯度消失问题，特别是对于较深的神经网络。
当前更多的是用于类似于LSTM网络结构的后面。

2.3 ReLU激活函数
ReLU（Rectified Linear Unit）是目前使用最广泛的激活函数之一。ReLU函数在输入为正数时直接输出输入值，而在输入为负数时输出为0，公式和数学图像分别如下所示：
f ( x ) = m a x ( 0 , x ) f(x) = max(0, x)
f(x)=max(0,x)

相比于Sigmoid和Tanh，ReLU的梯度更大，且在深层网络中具有较快的训练速度。然而，ReLU也存在一个问题，当输入为负数时，梯度为0，导致对应的神经元无法更新权重，这被称为"神经元死亡"问题。
当前在各种任务下广泛使用（不包括多分类任务）。

2.4 Leaky ReLU激活函数
为了解决ReLU的"神经元死亡"问题，Leaky ReLU引入了一个小的斜率（通常为0.01）来保证在输入为负数时仍然有梯度。Leaky ReLU函数的定义和数学图像分别如下所示：
f ( x ) = m a x ( a x , x ) f(x) = max(ax, x)
f(x)=max(ax,x)

其中，a是一个小于1的常数。这使得Leaky ReLU在某些场景下表现更好，但对于a的选择需要小心，过大的值可能导致函数失去非线性特性。
当前已没有特定使用情况，同等情况下（PReLU 和Swish 激活函数可能会有更好的表现）。

2.5 Parametric ReLU（PReLU）激活函数
Parametric ReLU是Leaky ReLU的扩展版本，它允许斜率参数a成为可学习的参数，这样网络可以自动调整斜率。这一特性使得Parametric ReLU更加适应不同的数据分布和任务，减少了手动调整的需求。

2.6 Swish激活函数
Swish激活函数在近年来被提出，它是一个平滑的激活函数。Swish函数在输入为正数时与ReLU相似，在输入为负数时逐渐趋近于0。Swish函数的表现相对于ReLU在一些情况下更好，但在某些场景下可能受到影响，因此使用时需谨慎权衡。函数公式和数学图像分别如下所示：
f ( x ) = x ⋅ s i g m o i d ( β x ) f(x)=x⋅sigmoid(βx)
f(x)=x⋅sigmoid(βx)


 其中，β ββ 是一个常量或一个可学习的参数。

β = 1 β = 1β=1， f ( x ) = x ⋅ s i g m o i d ( x ) f(x)=x⋅sigmoid(x)f(x)=x⋅sigmoid(x)，相当于Sigmoid-weighted Linear Unit (SiL)
β = 0 β = 0β=0，Swish 变成了缩放线性函数 f ( x ) = x / 2 f(x) = x/2f(x)=x/2
β → ∞ β → ∞β→∞，sigmoid 分量接近 0-1 函数，因此 Swish 变得像 ReLU 函数
3. 总结
到此，使用 激活函数总结（一） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出，后续会对其进行添加！！！！

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/qq_36758270/article/details/130561225