深度学习：激活函数的比较和优缺点，sigmoid，tanh，Relu 全方位比较

1、什么是激活函数

2、为什么要用

3、都有什么激活函数

4、sigmoid，Relu，softmax

 

1. 什么是激活函数

 

如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。

2. 为什么要用

如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

 

3. 都有什么激活函数

(1) sigmoid函数

 

公式：

曲线：

导数：

sigmoid函数也叫 Logistic 函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间ÿ