神经网络中中常见的激活函数

工作中常用的激活函数

1. Sigmoid：常应用于二分类场景的输出层
   
   如上图所示：

• sigmoid 在定义域内处处可导，且两侧导数逐渐趋近于0。
• 如果X的值很大或者很小的时候，那么函数的梯度（函数的斜率）会非常小，在反向传播的过程中，导致了向低层传递的梯度也变得非常小。此时会出现梯度消失，现象，一般来讲训练效果都不会太好。
• 一般来说， sigmoid 网络在 5 层之内就会产生梯度消失现象。而且，该激活函数并不是以0为中心的，所以在实践中这种激活函数使用的很少。sigmoid函数一般只用于二分类的输出层。

2. tanh(双曲正切曲线)
   
   如上图所示：

• tanh也是一种非常常见的激活函数。与sigmoid相比，它是以0为中心的，使得其收敛速度要比sigmoid快，减少迭代次数。然而，从图中可以看出，tanh两侧的导数也为0，同样会造成梯度消失。
• 若使用时可在隐藏层使用tanh函数，在输出层使用sigmoid函数。

3. RELU
   

• ReLU是目前最常用的激活函数。
• 从图中可以看到，当x<0时，ReLU导数为0，而当x>0时，则不存在饱和问题。所以，ReLU 能够在x>0时保持梯度不衰减，从而缓解梯度消失问题。然而，随着训练的推进，部分输入会落入小于0区域，导致对应权重无法更新。这种现象被称为神经元死亡。

sigmoid和Relu激活函数对比：

• sigmoid函数反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。
• Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
• 采用sigmoid函数，计算量大（指数运算），反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多

当前针对sigmoid和Relu激活函数的问题，有学者又研究出了
4. LeakReLu：该激活函数是对RELU的改进

• 主要解决了x < 0 ，使用relu激活函数的梯度消失的问题。

5. SoftMax激活函数
   softmax用于多分类过程中，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。
   
6. ELU这两年也陆续有人开始使用，相对leakrelu解决了拐点不平滑的问题。