激活函数

1. Sigmoid

非线性

f(x)=11+e−x

能够把输入的连续实值“压缩”到0和1之间

缺点：容易出现饱和性

2. tanh

非线性

tanh(x)=2sigmoid(2x)−1

能够把输入的连续实值“压缩”到-1和1之间

缺点：容易出现饱和性

3. ReLU

非线性

f(x)=max(0,x)

能够把输入的连续实值输出到0和正无穷之间

缺点：当x小于0时，会出现饱和性

4. Leaky-ReLU

为了缓解饱和性

f(x)={x,ifx≥0αx,ifx<0

α参数是常数

5. P-ReLU

为了缓解饱和性

f(x)={x,ifx≥0αx,ifx<0

αz参数需要学习

6. ELU

融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性

f(x)={x,ifx≥0α(ex−1),ifx<0

7. Maxout

f(x)=max(wT1x+b1,wT2x+b2,⋯,wTn+bn)