机器学习中的数学——激活函数（一）：Sigmoid函数

分类目录：《机器学习中的数学》总目录
相关文章：
· 激活函数：基础知识
· 激活函数（一）：Sigmoid函数
· 激活函数（二）：双曲正切函数（Tanh函数）
· 激活函数（三）： 线性整流函数（ReLU函数）
· 激活函数（四）：Leaky ReLU函数
· 激活函数（五）：ELU函数
· 激活函数（六）：Parametric ReLU（PReLU）函数
· 激活函数（七）：Softmax函数
· 激活函数（八）：Swish函数
· 激活函数（九）：Maxout函数
· 激活函数（十）：Softplus函数
· 激活函数（十一）：Softsign函数
· 激活函数（十二）：高斯误差线性单元(GELUs)

---

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在深度学习中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到$[0,1]$之间。
$$S(x)=\frac{1}{1+e^{-x}}$$

Sigmoid函数的导数可以用其自身表示：
$$S^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=S(x)(1-S(x))$$

Sigmoid函数的特性与优缺点：

• Sigmoid函数的输出范围是0到1。由于输出值限定在0到1，因此它对每个神经元的输出进行了归一化。
• 用于将预测概率作为输出的模型。由于概率的取值范围是0到1，因此Sigmoid函数非常合适
• 梯度平滑，避免跳跃的输出值
• 函数是可微的。这意味着可以找到任意两个点的Sigmoid曲线的斜率
• 明确的预测，即非常接近1或0。
• 函数输出不是以0为中心的，这会降低权重更新的效率
• Sigmoid函数执行指数运算，计算机运行得较慢。

Sigmoid函数及其导数的图像：