Sigmoid激活函数的理解(函数及其导数的图形表示,作用,优缺点)

Sigmoid函数又称logistic函数,在逻辑回归中经常出现。
公式为:
在这里插入图片描述
Sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间,该函数单调递增且以(0,0.5)对称,在两端变化速度较慢。
在这里插入图片描述
它是神经网络中的激活函数,其作用就是引入非线性
优点:
(1)sigmoid函数单调连续,输出范围有限,所以数据在传递的过程中不容易发散
(2)由于输出范围为(0, 1),所以可以在二分类的模型做为输出层,输出表示概率。
(3)求导容易,其导数可由自身表示:f’(x)=f(x)(1-f(x))
缺点:
(1)易造成梯度消失的问题。sigmoid函数和其导数Deriv.Sigmoid的图形如下,导数的值始终小于1且一直在0周围变化,在深层的神经网络中极易造成梯度消失的问题。
在这里插入图片描述
(2)不是以0为对称轴(这点在tahn函数有所改善)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值