深度学习中的激活函数

激活函数：

    激活函数是使线性函数变成非线性，使神经网络表达能力更强，几乎可以逼近任意函数。值域是-1到1或者0到1，定义域负无穷到正无穷。在-1和1区间梯度很大，而在其他地方很小。

激活函数一：sigmoid
sigonid表达式：
                                                       
sigmoid函数图像：

      sigmoid函数值域在（0，1）所以非常适合做概率问题；

激活函数二：tanh
tanh函数表达式：
                                                        
图像为：

      tanh值域在（-1，1）；在区间（-1，1）上的最大梯度是1，比sigmoid梯度0.25大，因此更适合做深度学习的激活函数。
激活函数三：ReLU
ReLU函数表达式：
                                                        
ReLU图像：
                                            
       ReLU函数在大于0时有梯度且恒定，小于0后梯度恒等于0。收敛速度远快于sigmoid和tanh，计算速度非常快，只需要判断输入是否大于0。