Sigmoid 函数

Sigmoid 函数

flyfish

Sigmoid函数是一种具有S形曲线的数学函数。
Sigmoid函数是一种激活函数，并且更具体地定义为挤压函数（squashing function）。压缩函数将输出限制在0到1之间，从而使这些函数在概率预测中非常有用。
挤压函数（squashing function）
挤压函数是将大范围输入挤压到较小区间的函数，通常被用于做 激活函数 ，主要有 Sigmoid 函数 和 Tanh 双曲正切函数两种。
其中 Sigmoid 函数是一种常见的挤压函数，可将较大范围的输入挤压到[0,1]内。
Tanh 双曲正切函数是 Sigmoid 函数的变体，其取值范围在 [-1,1]，定义域为 R，其同为挤压函数的一种。

通常和Softmax函数做比较
1、Softmax用于Logistic回归模型中的多分类。Sigmoid用于Logistic回归模型中的二进制分类。
2、Softmax概率和是1，Sigmoid概率和不需要是1。
3、Softmax用于不同层次的神经网络。Sigmoid在构建神经网络时用作激活函数。
4、Softmax 大值比其他值具有更大的概率。Sigmoid数值大则概率大，但概率不会比另一个数值的概率更大。
$S(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}.$

图像

解释e

$e=\sum _{n=0}^{\infty }\frac{1}{n!}=\frac{1}{1}+\frac{1}{1}+\frac{1}{1\cdot 2}+\frac{1}{1\cdot 2\cdot 3}+\cdots$

$e={\sum }_{n=0}^{\infty }\frac{1}{n!}$

$e={\lim }_{n\to \infty }{\left(1+\frac{1}{n}\right)}^n$