深度学习激活函数

目前常用的激活函数有sigmoid  tanh以及relu系列。

参考https://blog.csdn.net/qq_30815237/article/details/86700680

swish激活函数

函数表达式：

 

 

mish

激活函数

函数曲线：

优点

1. 在出现负值的时候并不是完全截断，而是允许比较小的梯度流入，从而保证信息流动。
2. 激活函数在输入比较大的时候没有边界，避免了饱和问题。
3. 每一点都比较平滑，使得梯度下降比relu要好。