常见激活函数介绍

阶跃型函数

$sgn$函数

$sgn$函数定义为：
$$sgn(x)=\{\begin{array}{ll}1,& x\ge 0;\\ 0,& x<0.\end{array}$$
$sgn(x)$通过将输入转换为输出值$0$和$1$，来表示神经元的抑制($0$)和兴奋($1$)。

然而，由于$sgn(x)$具有不连续、不光滑等不太好的性质，因此实际常用$Sigmoid$型函数做为激活函数。

$Sigmoid$型函数

$Sigmoid$型函数是指一类$S$型曲线函数，为两端饱和函数。常用的$Sigmoid$型函数有$Logistic$函数和$Tanh$函数。

饱和
对于函数$f(x)$，若$x\to -\infty$时，其导数$f^{\prime }(x)\to 0$，则称其为左饱和。
若$x\to +\infty$时，其导数$f^{\prime }(x)\to 0$，则称其为右饱和。
当同时满足左、右饱和时，就称为两端饱和。

$Logistic$函数

$Logistic$函数定义为：
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
$Logistic$函数将输入映射为区间$(0,1)$之间的输出值，当输入值在$0$附近时，$Sigmoid$型函数近似为线性函数；当输入值靠近两端时，对输入进行抑制。输入越小，越接近于0；输入越大，越接近于1。这样的特点也和生物神经元类似，对一些输入会产生兴奋(输出为1)，对另一些输入产生抑制(输出为0)。和感知器使用的阶跃激活函数相比，$Logistic$函数是连续可导的，其数学性质更好。
函数图如下：

$Tanh$函数

$Tanh$函数定义为：
$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
$Tanh(x)$函数将输入映射为区间$(-1,1)$上的输出值，可以看作是放大并平移的$Logistic$函数：