机器学习基础（五十六）—— tanh、sign 与 softsign

最新推荐文章于 2024-08-02 19:57:38 发布

五道口纳什

最新推荐文章于 2024-08-02 19:57:38 发布

阅读量1.5w

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/lanchunhui/article/details/51236864

版权

121 篇文章 39 订阅

订阅专栏

tanh：hyperbolic functions；

tanh (s) = exp ( s ) - exp ( - s ) exp ( s ) + exp ( - s )

$\tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)}$

可以看出， $\tanh$ 函数是对 $\text{sign}$ 函数的逼近或者近似，是对 $\text{sign}$ 的离散性而导致的难以优化的缺陷的弥补。

导数

$tanh' (s) = 1 - tanh 2 (s)$ $\tanh'(s)=1-\tanh^2(s)$
各种变形：

$tanh (s) = = = = = = exp ( s ) - exp ( - s ) exp ( s ) + exp ( - s ) 1 - exp ( - 2 s ) 1 + exp ( - 2 s ) 1 1 + exp ( - 2 s ) - 1 1 + exp ( 2 s ) θ (2 s) - θ (- 2 s) θ (2 s) - (1 - θ (2 s)) 2 θ (2 s) - 1$ $\begin{split} \tanh(s)=&\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)}\\ =&\frac{1-\exp(-2s)}{1+\exp(-2s)}\\ =&\frac{1}{1+\exp(-2s)}-\frac{1}{1+\exp(2s)}\\ =&\theta(2s)-\theta(-2s)\\ =&\theta(2s)-(1-\theta(2s))\\ =&2\theta(2s)-1 \end{split}$