【深度学习】——神经网络中常用的激活函数：sigmoid、Relu、Tanh函数

激活函数

  实际中的很多事情并不能简单的用线性关系的组合来描述。在神经网络中，如果没有激活函数，那么就相当于很多线性分类器的组合，当我们要求解的关系中存在非线性关系时，无论多么复杂的网络都会产生欠拟合。激活函数就是给其加入一些非线性因素，使其能够处理复杂关系。

1.Sigmoid函数：把输入值映射到[0,1],其中0表示完全不激活，1表示完全激活
其图像为：

sigmoid函数的导数为：
缺点：①sigmoid函数的导数取值范围在[0，0.25]之间，在深度网络中，需要用链式法则多次求导，导数为多个在[0，0.25]之间的数相乘，结果趋于0，导致梯度消失，使参数无法进行更新

   ②我们希望输入每层神经网络的特征是以0为均值的小数值，但经过sigmoid函数后的数据都是正数，使收敛变慢

   ③ Sigmoid函数存在幂运算，计算复杂度大，训练时间长

2.tanh函数：tanh函数和sigmoid函数长相很相近，都是一条S型曲线&