【让AI飞】常用函数的有用性质

某些函数在处理概率分布时会经常出现，尤其是深度学习的模型中用到的概率分布。

logistic sigmoid 函数

$$\sigma (x) = \frac 1 {1 + e^{-x}}$$ `

从 sigmoid 函数图像中可以看出，定义域 $R$, 而值域范围 $(0,1)$，单调递增。因而这个函数通常用来产生 Bernoulli 分布中的参数 $\phi$.

当 $x$ 取非常大的正值或者负值的时候，就会出现 饱和(saturate)现象，函数会变得很平，并且对输入的微小改变变得不敏感。

softplus 函数

$$\zeta (x) = \log (1+e^x)$$

之所以叫 softplus, 是因为这个函数 soft(软化/平滑)了 positive part function

$$x^+ = max(0, x)$$ . 但千万注意 不要把 softplus 和 softmax 名称搞混。

从 softplus 的函数图像可以看出，定义域是 $R$, 值域是 $(0, + \infty)$, 因而 softplus 函数可以用来产生正态分布的 $\beta$ 和 $\sigma$ 参数。

logistic sigmoid 和 softplus 之间的紧密联系

$$\sigma (x) = \frac 1 {1 + e^{-1}} = \frac{e^x}{e^x + 1} \qquad \qquad (1.1)$$

$$1 - \sigma (x) = \sigma (-x) \qquad \qquad (1.2)$$

$$\frac d {dx} \sigma(x) = \sigma (x)(1 - \sigma (x)) = \sigma (x) \sigma (-x) \qquad \qquad (1.3)$$

$$\frac d {dx} \zeta (x) = \sigma (x) \qquad \qquad (1.4)$$

$$\log \sigma (x) = -\zeta (-x) \qquad \qquad (1.5)$$

$$\forall x \in (0,1), \sigma ^{-1}(x) = \log \frac{x}{1-x} \qquad \qquad (1.6)$$

$$\forall x \gt 0, \zeta ^{-1} (x) = \log {(e^x -1)} \qquad \qquad (1.7)$$

$$\zeta (x) = \int_{- \infty }^x \sigma(y)dy \qquad \qquad (1.8)$$

$$\zeta (x) - \zeta (-x) = x \qquad \qquad (1.9)$$