激活函数 | 公式 | 优点 | 缺点 |
Sigmoid 函数 | 连续,且平滑便于求导 | 1.输出恒大于0(none-zero-centered(非零均值),会使训练出现 zig-zagging dynamics(z形震荡收敛) 现象,使得收敛速度变慢。 2. 导数最大值为0.25,连乘会导致梯度消失; 3. 幂函数,计算量大;不建议在NN中间层使用 | |
Tanh函数 | 解决了非0均值(none-zero-centered)问题;收敛速度比sigmoid快 |
| |
Relu |
|
| |
PReLU | 为了解决Dead ReLUProblem 的问题,因为当 x 小于 0 时,其输出不再是 0; 实际使用较多. | ||
Swich SiLU 激活函数 | wish 具备无上界有下界、平滑、非单调的特性,效果较 ReLU 要好,特别是在较深的网络中优势更明显 | ||
Mish | 和 Swish 激活函数很像,无上界有下界、平滑、非单调。 较常用 | ||
Softmax | Softmax 函数可视为 Sigmoid 函数的泛化形式 |
参考:bp神经网络拟合非线性函数github 神经网络 非线性函数_mob64ca141a683a的技术博客_51CTO博客