激活函数 Sigmod 及其导数

1. Sigmod 函数

Sigmod 函数是神经网络中最常用的激活函数之一，其形式如下：
$$\text{sigmod}(x)=f(x)=\frac{1}{1+e^{-x}}.$$

2. 取值

分析：
（1）当 $x=0$ 时，
$$f(x)=f(0)=\frac{1}{1+e^{-0}}=\frac{1}{2}.$$
（2）当 $x\to +\infty$ 时，$e^{-x}\to 0$，由此 $f(x)\to 1$。
（3）当 $x\to -\infty$ 时，$e^{-x}\to +\infty$，由此 $f(x)\to 0$。

由此，sigmod 函数的取值范围是 $[0,1]$，且单调递增。

3. 图像

我们用 Python 画一画它的图像出来：

实现的 Python 代码如下：

import numpy as np
from matplotlib import pyplot as plt


x = np.linspace(-100, 100, 10000)
y = 1 / (1 + np.exp(-x))
plt.plot(x, y, linestyle='-', color='blue', linewidth=6)
plt.show()

4. 导数

$$\begin{array}{rl}{f}^{\prime }(x)& ={\left(\frac{1}{1+e^{-x}}\right)}^{\prime }\\ & =-\frac{1}{{\left(1+e^{-x}\right)}^2}{\left(1+e^{-x}\right)}^{\prime }\\ & =-\frac{1}{{\left(1+e^{-x}\right)}^2}{e}^{-x}(-x{)}^{\prime }\\ & =-\frac{1}{{\left(1+e^{-x}\right)}^2}{e}^{-x}(-1)\\ & =\frac{e^{-x}}{{\left(1+e^{-x}\right)}^2}=\frac{(1-1)+e^{-x}}{{\left(1+e^{-x}\right)}^2}=\frac{(1+e^{-x})-1}{{\left(1+e^{-x}\right)}^2}\\ & =\frac{1}{1+e^{-x}}-\frac{1}{{\left(1+e^{-x}\right)}^2}\\ & =f(x)-f^2(x)\\ & =f(x)\left(1-f(x)\right).\end{array}$$

即：$f^{\prime }(x)=f(x)\left(1-f(x)\right)$。