深度学习之常见激活函数

sigmoid激活函数

定义域和值域：Sigmoid函数的输入可以是任意实数，但其输出值域是(0,1)。这意味着无论输入值如何变化，Sigmoid函数的输出总是介于0和1之间。

非线性：Sigmoid函数是一个非线性函数，这对于神经网络来说很重要，因为它们需要能够学习和模拟非线性关系。

平滑性：Sigmoid函数是连续且可微的，这使得它在优化问题中很有用，因为梯度下降算法需要可微性。

饱和性：当输入值非常大或非常小的时候，Sigmoid函数的梯度接近于0，这会导致梯度消失问题，即在反向传播过程中梯度值变得非常小，从而减缓学习过程。
梯度消失：sigmoid函数的导数值域为(0,0.25)，链式求导更新权重，出现梯度消失现象。
sigmoid激活函数的公式为：

其中，$x$ 是输入的实数，$e$ 是自然对数的底数。

tanh激活函数

定义域和值域：tanh函数的输入同样可以是任意实数，但其输出值域是(-1,1)。这意味着tanh函数的输出可以是负数，也可以是正数，中心点在0附近。
零中心：与Sigmoid函数不同，tanh函数的输出是零中心的（即当输入为0时，输出为0）。这使得tanh函数在处理数据时更加稳定，因为输出值的均值为0。
非线性：和Sigmoid函数一样，tanh也是非线性的，这对于神经网络学习复杂的非线性关系是必要的。
平滑性：tanh函数是连续且可微的，这使得它在优化算法中使用时，如梯度下降，可以有效地进行计算。
饱和性：与Sigmoid函数相似，tanh函数在输入值非常大或非常小的时候也会遇到饱和问题，导致梯度接近于0，这同样会导致梯度消失问题。
梯度消失：tanh函数的导数值域为(0,1)，链式求导更新权重，出现梯度消失现象，但是比sigmoid激活函数好。
以0位对称中心，收敛速度快于sigmoid，提高了权重更新的效率

Relu激活函数

线性特性：对于所有正数输入，ReLU函数是线性的。
非线性：尽管对于正数输入是线性的，但ReLU在x=0处有一个不连续点，这使得它成为一个非线性激活函数。
计算效率：ReLU的计算非常简单，只需要比较输入值与0的大小，这使得它在实际应用中非常快速。
稀疏激活：由于ReLU在输入小于0时输出为0，这导致网络中的激活值是稀疏的，即只有一部分神经元在任何给定时间是活跃的。这种稀疏性可以提高网络的计算效率和泛化能力。
缓解梯度消失问题：与Sigmoid或tanh函数相比，ReLU在正数区域的梯度是常数（1），这有助于缓解梯度消失问题，尤其是在深层网络中。
死亡ReLU问题：当输入为负时，ReLU的梯度为0，这可能导致一些神经元在训练过程中永远不会激活，这种现象被称为“死亡ReLU”问题(神经和元失活)。
公式：output = max(0, x)

Relu的变种激活函数

图像中的a为常数时为Leaky ReLU，图像中a为可学习参数时为PReLU，其目的都是为了解决神经元失活现象。

ELU激活函数

负值激活：与ReLU不同，ELU在输入为负数时仍然可以产生非零的输出。这有助于网络在负值区域也能进行有效的学习。
非线性：ELU是一个非线性激活函数，这对于神经网络学习复杂的模式和特征是必要的。
稀疏激活：ELU在正数区域是线性的，但在负数区域是指数型的，这导致网络的激活值是稀疏的，有助于提高计算效率和网络的泛化能力。
缓解神经元死亡问题：由于ELU在负数区域的输出不是零，它减少了神经元在训练过程中变得完全无效（即“死亡ReLU”问题）的风险。
自归一化属性：ELU具有自归一化的特性，即随着输入值的增加，ELU的输出趋向于1，这有助于网络在训练过程中自动调整其激活值的范围。

swish激活函数

非单调性：Swish函数是非单调的，它结合了线性和非线性特征。这使得它在某些情况下比传统的ReLU或Sigmoid函数更有效。
自门控：Swish函数可以看作是一种自门控机制，其中σ(x)，σ(x) 作为门控因子，控制x的输出。当x为正时，σ(x)接近1，输出接近x；当x为负时，σ(x)接近0，输出接近0。
平滑性：Swish函数是连续且可微的，这使得它在优化算法中易于使用。

swish变种激活函数h-swish函数，使用relu6代替sigmoid函数

公式：f(x)= relu6(x+3)/6

目的：减少计算资源，详细资料可自行了解

完结撒花