神经网络的几个常用的激活函数及其公式

首先我们要明白激活函数的作用是:简而言之，增加模型的非线性表达能力。为什么能增加非线性能力，看参考地址。

几大激活函数的具体公式如上图。

---

如上所示，sigmoid只会输出正数，以及它靠近0的输出变化率最大。tanh与sigmoid不同的是，tanh输出可以是负数。Relu是输入只能大于0，如果你输入含有负数，Relu就不合适，如果你的输入是图片格式，Relu就挺常用的。

参考地址:https://zhuanlan.zhihu.com/p/32824193