Elu激活函数论文:https://arxiv.org/pdf/1511.07289v5.pdf
论文理解:https://blog.csdn.net/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1
https://blog.csdn.net/m0_37561765/article/details/78398098
https://blog.csdn.net/u012524708/article/details/79579313
Elu函数融合了sigmoid和ReLU,左侧具有软饱和性,右侧无饱和性。右侧线性部分使得ELU能够缓解梯度消失,而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于零,所以收敛速度更快。在 ImageNet上,不加 Batch Normalization 30 层以上的 ReLU 网络会无法收敛,PReLU网络在MSRA的Fan-in (caffe )初始化下会发散,而 ELU 网络在Fan-in/Fan-out下都能收敛。
python画激活函数
参考:https://blog.csdn.net/Xin_101/article/details/93738819
(threshold、sigmoid、Relu、PRelu、tanh)
Elu函数