sigmoid、tanh、relu激活函数

sigmoid:

tanh:

ReLU，线性整流函数（Rectified Linear Unit）：

relu函数有哪些优势：
1. relu更符合大脑神经元的工作原理
从relu图像中可以看出，在x<=0的范围内都处于非激活状态，只在x>0时激活，这样保证了网络的稀疏性。而其他激活函数始终处于激活状态，只不过激活的程度不同，这与大脑神经元的工作方式不同。所以，从稀疏性的角度来说，relu更符合大脑神经元的工作原理。
2. relu运算速度足够快
sigmoid和 tanh等激活函数都是指数运算。而relu如果不激活，直接置零，即使激活，也是线性运算，速度非常快。
3. 避免梯度爆炸和梯度消失
4. 更符合生物神经元刺激曲线

上图是生物神经元激活的曲线。横轴是激活电流，纵轴是发射频率。发射频率我们可以简单理解为单位时间内的平均电峰数量，也就是细胞核对输入的触发响应。例如受神经驱动的肌肉的收缩力量，就单纯取决于动作神经元的"发射频率"，也就是单位时间内的平均电峰数量。
可以看到，对于生物神经元的刺激曲线，有如下特点：

• 单侧抑制
• 广阔的兴奋区域
  这些特点恰好都是relu所具备的，而前面介绍的sigmoid和tanh激活函数在两侧都有明显的抑制，与实际的生物神经元工作机理不同。

参考文献：

• https://zhuanlan.zhihu.com/p/63775557
• https://www.zhihu.com/question/52668301