机器学习基础（七）——sigmoid 函数的性质

$$\theta(s)=\frac1{1+e^{-s}}$$

• 值域 $(0, 1)$
• 常作为神经元（neuron）内部所代表的激励函数（activation）存在；
  
  • 但对于 BP 神经网络而言，sigmoid 函数用作激励函数要尤其慎重；

1. 基本性质

• （1）通分

  $$\theta(x)=\frac{e^s}{1+e^s}$$

• （2）”对称”

  $$1-\theta(s)=\theta(-s)$$

• （3）导数
  

  $$\theta'(s)=\theta(s)(1-\theta(s))$$

  sigmoid 函数的导数也是小于 1 的，不仅小于 1，$\theta'(s)=\theta(s)(1-\theta(s))\lt \theta(s)$

2. 简单变形（variant）

• $\frac{\theta^s}{1+\theta^s}$，分子分母同时乘以 $\theta^s$；