本文介绍了多种深度学习中常用的激活函数，包括SELU、Swish、Maxout、CRelu、Softplus、Softsign、Mish和H-Swish。这些函数各有优缺点，如SELU和Swish在准确性上有优势，Maxout具有强大的拟合能力，而CRelu则是对ReLU的补充。此外，还讨论了它们的数学公式和潜在的问题，如参数量增加、梯度消失等。
深度学习-常用激活函数-下篇
SELU 激活函数
此激活函数来源：https://arxiv.org/pdf/1706.02515.pdf
具体公式：
其中
lamada：1.0507009873554804934193349852946
alpha：1.6732632423543772848170429916717
具体以上两个值得得出细节可以参考对应论文
优点：
- 样本分布满足零均值和单位方差
- 具有软饱和的特性，提升了对噪声的鲁棒性
Swish激活函数
此激活函数来源：https://arxiv.org/abs/1710.05941
具体公式：
优势：
- 准确度性能优于Relu激活函数
- 无上界有下界、平滑、非单调的特性
缺点：
- 非线性操作，计算耗时
最低0.47元/天 解锁文章
扫一扫
1518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
