01 Sigmoid
Sigmoid将输入映射到[0, 1],梯度下降明显,至少减少75%
f(x)=sigmoid(x)=11−e −x
f ′ (x)=f(x)(1−f(x)))
02 tahn
tahn将输入数据映射到[-1, 1],梯度损失明显
f(x)=tahn(x)=21+e −2x −1
f ′ (x)=1−f(x) 2
03 ReLU
ReLU(Rectified linear unit):正向截断负值,损失大量特征;反向梯度没有损失
f(x)=max(x,0)={0forx<0xforx≥0
f ′ (x)={0forx<01forx≥0
04 Keaky ReLU
Leaky RuLU(Rectified linear unit):正向截断负值(保留更多参数,少量梯度方向传播),损失大量特征(为什么还在用?因为特征足够多);反向梯度少量损失;(为什么不变成y=x?不行,会成为纯线性)
f(x)={0.01xforx<0xforx≥0
f ′ (x)={0.01forx<01forx≥0