参考 https://www.jiqizhixin.com/articles/2017-11-02-26
https://senitco.github.io/2017/09/05/deep-learning-activation-function/
在神经网络中,我们使用非线性激活函数,如果采用的是线性激活函数或者不采用激活函数,则还是等价于上一步进行的线性变化,网络再深,也和一层是等价的。
- sigmoid: 1 1 + e − x \frac{1}{1+e^{-x}} 1+e−x1
- tanh: e x − e − x e x + e − x \frac{e^x-e^{-x}}{e^x+e^{-x}} ex+e−xex−e−x
t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 1 tanh(x) = 2sigmoid(2x)-1 tanh(x)=2sigmoid(2x)−1 - relu: max ( 0 , x ) \max(0,x) max(0,x)
- leaky-relu: max ( α x , x ) \max(\alpha x,x) max(αx,