神经网络中用到的激活函数

在神经网络中激活函数层往往是必备的，激活函数一般有如下三种选择：sigmoid函数、relu函数、tanh函数。

1.sigmoid函数表达式如下：

                                   Θ(x)=11+e−x

函数取值范围(0,1),函数图像下图所示:

2.tanh函数的表达式如下：

tanh(x)=sinh(x)cosh(x)

其中sinh(x)数学公式为： 

sinh(x)=ex−e−x2sinh(x)=ex−e−x2

其中cosh(x)数学公式为： 

sinh(x)=ex+e−x2

3.relu函数表达式如下：

                                                            max(0,x)={0,x,if x ≤ 0if x > 0