sigmoid函数_Sigmoid函数的优缺点是啥?

问题引入

在人工神经网络中,神经元节点的激活函数定义了对神经元输出的映射,简单来说,神经元的输出(例如,全连接网络中就是输入向量与权重向量的内积再加上偏置项)经过激活函数处理后再作为输出。我们也知道在神经网络中有许多的激活函数,那么每个激活函数的优缺点是什么呢?接下来慢慢说起来。

问题解答

这里介绍下大家熟悉的sigmoid函数,sigmoid函数的表达式如下:

下图展示了sigmoid函数以及它的导数。

af8c3f33a9a547a66d1a466771a32b92.png

921d5251e00bef37de6cefe0bf68ceca.png

 Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数,其导数为

优点:

1.便于求导的平滑函数;

2.能压缩数据,保证数据幅度不会有问题;

3.适合用于前向传播。

缺点:

1.容易出现梯度消失(gradient vanishing)

2.Sigmoid 的输出不是 0 均值(zero-centered)

3.幂运算相对耗时

参考

https://blog.csdn.net/Dby_freedom/article/details/88946229

https://zhuanlan.zhihu.com/p/65472471 

https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc

喜欢就关注一下啦~~~

00c743139bdc7744bd215ab4eb27edeb.png

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值