23种激活函数

一、简介

   一个节点的激活函数(Activation Function)定义了该节点在给定的输入或输入的集合下的输出。神经网络中的激活函数用来提升网络的非线性（只有非线性的激活函数才允许网络计算非平凡问题），以增强网络的表征能力。对激活函数的一般要求是：必须非常数、有界、单调递增并且连续，并且可导。
  在实际选择激活函数时并不会严格要求可导，只需要激活函数几乎在所有点可导即可，即在个别点不可导是可以接受的。另外，其导数尽可能的大可以帮助加速训练神经网络，否则导数过小会导致网络无法继续训练下去。

二、激活函数种类

  下面是不同的激活函数的函数公式，图像和导数公式，图像。

1、恒等函数

$$f(x)=x{f}^{{}^{\prime }}(x)=1$$

2、单位阶跃函数

$$f(x)=\{\begin{array}{l}0,x<0\\ 1,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}0,x\ne 0\\ ?,x=0\end{array}$$

3、逻辑函数

$$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}{f}^{{}^{\prime }}(x)=f(x)(1-f(x))$$

4、双曲正切函数

$$f(x)=tanh(x)=\frac{(e^x-e^{-x})}{e^x+e^{-x}}{f}^{{}^{\prime }}(x)=1-f(x{)}^2$$

5、反正切函数

$$f(x)=ta{n}^{-1}(x)f^{{}^{\prime }}(x)=\frac{1}{x^2+1}$$

6、Softsign函数

$$f(x)=\frac{x}{1+|x|}{f}^{{}^{\prime }}(x)=\frac{1}{(1+|x|{)}^2}$$

7、反平方根函数(ISRU)

$$f(x)=\frac{x}{\sqrt{1+\alpha x^2}}{f}^{{}^{\prime }}(x)=(\frac{1}{\sqrt{1+\alpha x^2}}{)}^3$$

8、线性整流函数(ReLU)

$$f(x)=\{\begin{array}{l}0,x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}0,x<0\\ 1,x\ge 0\end{array}$$

9、带泄露线性整流函数(Leaky ReLU)

$$f(x)=\{\begin{array}{l}0.01x,x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}0.01,x<0\\ 1,x\ge 0\end{array}$$

10、参数化线性整流函数(PReLU)

$$f(x)=\{\begin{array}{l}\alpha x,x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}\alpha ,x<0\\ 1,x\ge 0\end{array}$$

11、带泄露随机线性整流函数(RReLU)

$$f(x)=\{\begin{array}{l}\alpha x,x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}\alpha ,x<0\\ 1,x\ge 0\end{array}$$

12、指数线性函数(ELU)

$$f(x)=\{\begin{array}{l}\alpha (e^x-1),x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}f(\alpha ,x)+\alpha ,x<0\\ 1,x\ge 0\end{array}$$

13、扩展指数线性函数(SELU)

$$\begin{array}{r}f(x)=\lambda \{\begin{array}{l}\alpha (e^x-1),x<0\\ x,x\ge 0\end{array}\\ \lambda =1.0507,\alpha =1.67326\end{array}{f}^{{}^{\prime }}(x)=\lambda \{\begin{array}{l}\alpha (e^x),x<0\\ 1,x\ge 0\end{array}$$

14、S型线性整流激活函数(SReLU)

$$\begin{array}{r}{f}_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{l}{t}_l+a_l(x-t_l),x\le t_l\\ x,t_l<x<t_r\\ t_r+a_r(x-t_r),x\ge t_r\end{array}\\ t_l,a_l,t_r,a_r为参数\end{array}{f}_{t_l,a_l,t_r,a_r}^{{}^{\prime }}(x)=\{\begin{array}{l}{a}_l,x\le t_l\\ 1,t_l<x<t_r\\ a_r,x\ge t_r\end{array}$$

15、反平方根线性函数(ISRLU)

$$f(x)=\{\begin{array}{l}\frac{x}{\sqrt{1+\alpha x^2}},x<0\\ x,x\ge 0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}(\frac{1}{\sqrt{1+\alpha x^2}}{)}^3,x<0\\ 1,x\ge 0\end{array}$$

16、自适应分段线性函数(APL)

$$f(x)=max(0,x)+\sum _{s=1}^S{a}_i^{s}max(0,-x+b_i^s)f^{{}^{\prime }}(x)=H(x)-\sum _{s=1}^S{a}_i^{s}H(-x+b_i^s)$$

17、SoftPlus函数

$$f(x)=\ln (1+e^x)f^{{}^{\prime }}(x)=\frac{e^x}{1+e^x}$$

18、弯曲恒等函数

$$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x{f}^{{}^{\prime }}(x)=\frac{x}{2\sqrt{x^2+1}}+1$$

19、Sigmoid Weighted Liner Unit(SiLU)

$$f(x)=x\cdot \sigma (x)f^{{}^{\prime }}(x)=f(x)+\sigma (x)(1-f(x))$$

20、SoftExponential

$$f(x)=\{\begin{array}{l}-\frac{ln(1-\alpha (x+\alpha ))}{\alpha },\alpha <0\\ x,\alpha =0\\ \frac{e^{\alpha x}-1}{\alpha },\alpha >0\end{array}{f}^{{}^{\prime }}(x)=\{\begin{array}{l}\frac{1}{1-\alpha (\alpha +x)},\alpha <0\\ e^{\alpha x},\alpha \ge 0\end{array}$$

21、正弦函数

$$f(x)=sin(x)f^{{}^{\prime }}(x)=cos(x)$$

22、Sinc函数

$$f(x)=\{\begin{array}{l}1,x=0\\ \frac{sin(x)}{x},x\ne 0\end{array}f(x)=\{\begin{array}{l}0,x=0\\ \frac{cos(x)}{x}-\frac{sin(x)}{x},x\ne 0\end{array}$$

23、高斯函数

$$f(x)=e^{-x^2}{f}^{{}^{\prime }}(x)=-2x{e}^{-x^2}$$