在CNN卷积神经网络中，习惯用RELU函数代替sigmoid, tahh等目标激活函数，这应该是因为，RELU函数在大于0的时候，导数为恒定值，而sigmoid和tahh函数则不是恒定值，相反，sigmoid和tahh的导数，类似于高斯函数的曲线形状，在两端接近目标时，导数变小。
导数小的话，在训练神经网络的时候，会BP反向传播误差，导致收敛减慢；而relu函数则避免了这点，很好很强大。
当然，事情不是一定的，还是得结合实际情况选择，或者涉及目标激活函数。
下面提供一张RELU, sigmoid, tahh的函数曲线图供参考：
1347
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
