激活函数（Activation function）

• 首页
• 新随笔
• 联系
• 管理

激活函数（Activation function）

神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。

ReLU(Rectified Linear Unit,修正线性单元)

f(x)={0,x,x≤0x>0 f(x)={0,x≤0x,x>0

详细公式 ReLU:

f(x)其中σ(z)=∑i=1infσ(x−i+0.5)≈log(1+ex)≈max(0,x+N(0,1))=11+e−x(stepped sigmoid)(softplus function)(ReL function)(sigmoid)(1)(2)(3)(4) (1)f(x)=∑i=1infσ(x−i+0.5)(stepped sigmoid)(2)≈log⁡(1+ex)(softplus function)(3)≈max(0,x+N(0,1))(ReL function)(4)其中σ(z)=11+e−x(sigmoid)

ReLU变种

Leaky ReLU

当x<0时,f(x)=αx,其中α非常小,这样可以避免在x<0时,不能够学习的情况 当x<0时,f(x)=αx,其中α非常小,这样可以避免在x<0时,不能够学习的情况

f(x)=max(αx,x) f(x)=max(αx,x)

称为Parametric Rectifier(PReLU)

当 α=0.01 α=0.01时,是Leaky ReLU.

优点:

• 不会过拟合(saturate)
• 计算简单有效
• 比sigmoid/tanh收敛快

指数线性单元ELU

f(x)={α(ex−1),x,x≤0x>0 f(x)={α(ex−1),x≤0x,x>0

由于需要计算指数,计算量较大

Maxout

函数图像为两条直线的拼接, f(x)=max(wT1x+b1,wT2x+b2) f(x)=max(w1Tx+b1,w2Tx+b2)

那么,前边的两种ReLU便是两种Maxout.

激活层函数选择

1. 最好不要用sigmoid,比如AlexNet等都不用sigmoid

2. 首先试ReLU,速度快,但要注意训练的状态.

3. 如果ReLU失效,试试Leaky ReLU或Maxout

4. 试试tanh正切函数

在浅层神经网络中，如不超过4层的，可选择使用多种激励函数，没有太大的影响。特别的，RNN中使用ReLU或tanh（三角函数tan）；Hinge用于soft-margin svm算法；log用于LR算法（Logistric Regression）；squared loss用于线性回归 （Liner Regression）和Boosting。

sigmoid作激活函数的缺点

σ(x)=1(1+e−x) σ(x)=1(1+e−x)

,历史上很流行(Historically popular since they have nice interpretation as a saturating “firing rate” of a neuron),梯度为 ∇σ=e−x(1+e−x)2=(1+e−x−11+e−x)(11+e−x)=σ(x)(1−σ(x)) ∇σ=e−x(1+e−x)2=(1+e−x−11+e−x)(11+e−x)=σ(x)(1−σ(x))

存在三个问题:

1. 饱和的神经元会"杀死"梯度,指离中心点较远的x处的导数接近于0,停止反向传播的学习过程.
2. sigmoid的输出不是以0为中心,而是0.5,这样在求权重w的梯度时,梯度总是正或负的.
3. 指数计算耗时

为什么tanh相比sigmoid收敛更快:

tanh′(x)=1−tanh(x)2∈(0,1) tanh′⁡(x)=1−tanh⁡(x)2∈(0,1)

sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4) sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4)

可以看出tanh(x)的梯度消失问题比sigmoid要轻.梯度如果过早消失,收敛速度较慢.

原文: http://www.cnblogs.com/makefile/p/activation-function.html ©  康行天下

分类:  深度学习

标签:  深度学习

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
原文: http://www.cnblogs.com/makefile/p/activation-function.html  ©  康行天下