【机器学习】 Sigmoid函数：机器学习中的关键激活函数

---

🌈个人主页: 鑫宝Code
🔥热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础
​💫个人格言: "如无必要，勿增实体"

---

Sigmoid函数：机器学习中的关键激活函数

1. 引言

在机器学习和深度学习领域，激活函数扮演着至关重要的角色。它们为神经网络引入非线性，使得网络能够学习复杂的模式。Sigmoid函数是最早被广泛使用的激活函数之一，至今仍在许多应用中发挥重要作用。本文将深入探讨Sigmoid函数的定义、特性、应用以及优缺点。

2. Sigmoid函数定义

Sigmoid函数，也称为逻辑函数（Logistic Function），是一种常见的S型函数。其数学表达式为：

$$S(x)=\frac{1}{1+e^{-x}}$$

其中，e是自然对数的底数，约等于2.71828。

3. Sigmoid函数的图像特性

Sigmoid函数具有以下几个重要的图像特性：

1. 函数值域在(0, 1)之间
2. 在原点(0, 0.5)处对称
3. 在x趋近于正无穷时，y趋近于1；在x趋近于负无穷时，y趋近于0
4. 函数曲线呈S型，在中间部分近似线性，两端逐渐平缓

4. Sigmoid函数的导数

Sigmoid函数的导数有一个非常优雅的形式，这也是它在早期神经网络中广泛使用的原因之一。Sigmoid函数的导数可以用函数本身表示：

$$S^{\prime }(x)=S(x)(1-S(x))$$

证明如下：

S ′ ( x ) = d d x ( 1 1 + e − x ) = e − x ( 1 + e − x ) 2 = 1 1 + e − x ⋅ e − x 1 + e − x = 1 1 + e − x ⋅ ( 1 − 1 1 + e − x ) = S ( x ) ( 1 − S ( x ) )