神经网络中激活函数sigmoid和tanh的区别
激活函数sigmoid和tanh的区别表面上看起来,两者的区别只是值域不同,sigmoid是(0,1),tanh是(-1,1)。可就是这个小小的不同,造成了他们的效果其实有很大差别。simoid函数作为激活函数,sigmoid函数存在梯度弥散的问题,即当x的取值特别大或者特别小的时候,其梯度几乎为零,这会导致参数的值无法更新。即所说的梯度消失。作为激活函数,sigmoid的不是中心对称的...
原创
2019-05-18 19:08:40 ·
8315 阅读 ·
0 评论