深度学习Sigmoid函数

主要来说说看 sigmoid 函数,sigmoid函数是机器学习中的一个比较常用的函数,与之类似的还有softplus和softmax等函数,这里也就不说,先来看看sigmoid函数的表达式的和图像, sigmoid函数表达式如下
在这里插入图片描述

这就是sigmoid函数的表达式,这个函数在伯努利分布上非常好用,现在看看他的图像就清楚
在这里插入图片描述

可以看到在趋于正无穷或负无穷时,函数趋近平滑状态,sigmoid函数因为输出范围(0,1),所以二分类的概率常常用这个函数。该函数具有如下的特性:当x趋近于负无穷时,y趋近于0;当x趋近于正无穷时,y趋近于1;当x= 0时,y=0.5.。当然,在x超出[-6,6]的范围后,函数值基本上没有变化,值非常接近,在应用中一般不考虑。
在这里插入图片描述

优点:
1> 值域在0和1之间 ,输出范围有限
2> 求导容易
3> 函数具有非常好的对称性
缺点:
1>. 由于其软饱和性,容易产生梯度消失,导致训练出现问题。
2>. 其输出并不是以0为中心的。
函数对输入超过一定范围就会不敏感,sigmoid的输出在0和1之间,我们在二分类任务中,采用sigmoid的输出的是事件概率,也就是当输出满足某一概率条件我们将其划分正类,不同于svm。此外,logistic函数也是神经网络最为常用的激活函数。

相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页