神经网络中常用的激活函数有哪些

激活函数	公式	优点	缺点
Sigmoid 函数		连续，且平滑便于求导	1.输出恒大于0（none-zero-centered（非零均值）,会使训练出现 zig-zagging dynamics（z形震荡收敛） 现象，使得收敛速度变慢。 2. 导数最大值为0.25，连乘会导致梯度消失； 3. 幂函数，计算量大；不建议在NN中间层使用
Tanh函数		解决了非0均值（none-zero-centered）问题；收敛速度比sigmoid快	导数范围（0，1），会出现梯度消失问题； 计算量大
Relu		x>0,倒数恒为1，连乘不会存在梯度消失问题 计算倒数非常快，收敛速度远大于sigmoid和tanh 在实际应用中最广泛	none-zero-centere问题导致zig-zagging dynamics Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新（可以采用 MSRA 初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法）
PReLU		为了解决Dead ReLUProblem 的问题，因为当 x 小于 0 时，其输出不再是 0; 实际使用较多.
Swich SiLU 激活函数		wish 具备无上界有下界、平滑、非单调的特性，效果较 ReLU 要好，特别是在较深的网络中优势更明显
Mish		和 Swish 激活函数很像，无上界有下界、平滑、非单调。 较常用
Softmax		Softmax 函数可视为 Sigmoid 函数的泛化形式

参考：bp神经网络拟合非线性函数github 神经网络 非线性函数_mob64ca141a683a的技术博客_51CTO博客