激活函数总结

sigmoid

公式：

$f(x)=\frac{1}{1+e^{-x}}$

图像：

---

Tanh

公式：

$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

图像：

---

softplus

公式：

$f(x)=log(1+e^x)$

图像：

---

ReLU(Rectifier Linear Unit)系列

ReLU

公式：
$$f(x)=\{\begin{array}{ll}0,& x\le 0\\ x,& x>0\end{array}$$
图像：

---

Leaky ReLU/ PReLU/ RReLU

公式：
$$f(x)=\{\begin{array}{ll}\alpha x,& x\le 0\\ x,& x>0\end{array}$$

1. Leaky Relu: 通过设定一个$\alpha$来解决当$x$为负值的时候Relu为0的情况，通常$\alpha$设定为0.01
2. Parameter Relue: Leaky Relu的改进， PReLU的出发点是不将$\alpha$设置为0.01，而是根据数据来定，这样就可以自适应地从数据中学习参数
3. Randomized Relu: 是对Leaky ReLU的另一种改进。在训练时，$\alpha$是给定范围内取样的随机变量，而测试时$\alpha$变为固定值。其表达式如下所示。这里$\alpha$服从均匀分布，且满足0≤a<1。
   

---

BReLU(Bounded ReLU)

公式：
$$f(x)=\{\begin{array}{ll}0,& x\le 0\\ x,& 0\le x\le n\\ n,& x>n\end{array}$$

1. ReLU6 就是将n设置为6， 此时的ReLU6的图像如下图所示：
   

---

ELU

公式：
$$f(x)=\{\begin{array}{ll}\alpha (e^x-1),& x\le 0\\ x,& x>0\end{array}$$
图像：

---

SELU

公式：
$$f(x)=\lambda \{\begin{array}{ll}\alpha (e^x-1),& x\le 0\\ x,& x>0\end{array}=\lambda \ast ELU(x)$$
图像：

---

GELU

公式：

$f(x)=0.5x(1+tanh(\sqrt{2/\pi }(x+0.044715x^3)))$

图像：

---

Swish

公式：

$f(x)=x\frac{1}{1+e^{-\beta x}}=x\ast sigmoid(\beta x)$

---

Hard-Swish

公式：

$f(x)=x\frac{Relu6(x+3)}{6}$

图像：

---

Mish

公式：

$f(x)=x\ast tanh(ln(1+e^x))$

图像：

---

Maxout

公式：

$f(x)=max(w_1^{T}x+b_1,w_2^{T}x+b_2,\cdot \cdot \cdot ,w_n^{T}x+b_n)$

1. maxout激活函数并不是一个固定的函数，它是一个可以学习的函数，因为W参数是学习变化的，它是一个分段的线性函数.
2. 然而任何一个凸函数，都可以由线性分段函数进行逼近近似。其实我们可以把以前所学到的激活函数：relu、abs激活函数，看成是分成两段的线性函数，如下示意图所示：
   

Reference

https://blog.csdn.net/bqw18744018044/article/details/81193241
http://www.360doc.com/content/20/0323/23/99071_901255748.shtml
https://blog.csdn.net/weixin_39107928/article/details/102807920
https://blog.csdn.net/weixin_44106928/article/details/103072722
https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc