深度学习激活函数

1. sigmoid函数， 因为函数形状像S， moid表示像， 所以叫sigmoid激活函数，激活函数是用在网络模型中用于激活输出的结果， sigmoid的函数特性决定了它在二分类问题中的重要性， 由于梯度不容易消失， 所以是深度学习中最常用的函数， 但函数曲线决定了它的学习速度缓慢， 需要较长的epochs来学习。
2. ReLu函数， 它弥补了sigmoid学习速度慢的不足， 能够很快的增加学习速度， 但容易产生梯度消失， 停止学习。
3. 这样就产生了介于两者之间的tanh函数， 它的特性， 在（-1， 1）之间梯度有较快的下降， 同时又满足了其他区间的学习需求。所以也是很常用的激活函数。