神经元建模 激活函数

 

 

 

1、sigmoid函数

缺点：当输入大于或者小于某一个值以后，函数的导数为0，也就是说函数的梯度为0。梯度为0的话，就没法更新网络参数了，网络永远没法收敛，导致梯度消失的现象。所以一般不使用sigmoid函数作为激活函数。

 

2、relu函数

优点：可以解决梯度消失的问题，当输入x大于0的时候，函数导数为常数1。

         函数梯度的求解非常简单。

         大部分神经网络都使用relu函数作为 激活函数。