深度学习中常见激活函数（ReLU、ELU、Leakly ReLU等）

激活函数作用

        如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

激活函数分类

        饱和激活函数：sigmod、tanh

        非饱和激活函数：ReLU、Leaky ReLU、ELU、PReLU...

         饱和是指趋于无穷时，激活函数的导数趋于0。非饱和激活函数的优势：

        1. 非饱和激活函数能解决梯度消失的问题

        2. 能加速收敛速度

常见激活函数

       ①Sigmoid函数：

        

        函数图为：

        导数为：