如何选取正确的激活函数

转自博客，可供参考

1.sigmoid函数是最为常用的激活函数之一，优点在于函数平滑且易于求导。

2.tanh函数，tanh一般总是好于sigmoid，因为函数值介于[-1,1]之间，激活函数的平均值接近于0，这样可以使得下一层的神经元学习的更好。

3.relu函数：tanh和sigmoid函数的共同缺点就是当输入特别小或者特别大时，容易引起梯度弥散或梯度爆炸。而relu线性函数可以在一定程度上缓解梯度弥散和梯度爆炸的问题，使得深度神经网络的训练可以更快速地达到收敛。因此目前神经网络中的隐含层中最为常用的默认激活函数就是ReLU了（注意relu函数在0点是不可导的）。

4.其他函数，暂不用详细介绍。。。