机器学习基础（五十六）—— tanh、sign 与 softsign

tanh：hyperbolic functions；

• $\sigma(-s)=\frac{1}{1+e^s}=1-\frac{1}{1+e^{-s}}=1-\sigma(s)$

1. comparison

$$\tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)}$$

可以看出，$\tanh$ 函数是对 $\text{sign}$ 函数的逼近或者近似，是对 $\text{sign}$ 的离散性而导致的难以优化的缺陷的弥补。

• 导数

  $$\tanh'(s)=1-\tanh^2(s)$$

• 各种变形：

  $$\begin{split} \tanh(s)=&\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)}\\ =&\frac{1-\exp(-2s)}{1+\exp(-2s)}\\ =&\frac{1}{1+\exp(-2s)}-\frac{1}{1+\exp(2s)}\\ =&\theta(2s)-\theta(-2s)\\ =&\theta(2s)-(1-\theta(2s))\\ =&2\theta(2s)-1 \end{split}$$

2. softsign

$$\text{softsign}(z)=\frac{a}{1+|a|}$$