激
活
函
数
篇
激活函数篇
激活函数篇
什么是激活函数?
(非线性)激活函数对特征进行非线性变换,使神经网络随着深度的增加具有更高的拟合性。
非线性激活函数的出现标志着现代深度神经网络的诞生
一 ELU
二 Hardshrink
三 Hardsigmoid
四 Hardtanh
五 Hardswish
六 LeakyReLU
七 LogSigmoid
八 MultiheadAttention
九 PReLU
十 ReLU
十一 ReLU6
十二 RReLU
十三 RReLU
十四 CELU
十五 GELU
十六 Sigmoid
十七 SiLU
十八 Softplus
十九 Softshrink
二十 Softsign
二十一 Tanh
二十二 Tanhshrink
二十三 Threshold
二十四 Softmin
二十五 Softmax
二十六 Softmax2d
二十七 LogSoftmax
二十八 AdaptiveLogSoftmaxWithLoss
Activate or Not: Learning Customized Activation—ACON-2020