【深度学习原理第2篇】常用的几种激活函数

激活函数

假设我们只看下图前馈神经网络中圈到的神经元,其他的不看,就可得到下面第二张图效果
在这里插入图片描述

在这里插入图片描述
由上图可以看到神经元中有激活函数Activation

激活函数定义

在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数。
激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中,否则每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,这就是最初的感知机,应用很局限。

常用的三种激活函数(sigmoid函数、tanh函数、relu函数)

sigmoid函数
在这里插入图片描述
输出范围在0到1之间,曲线两端平坦

tanh函数
在这里插入图片描述

输出范围在-1到1之间,曲线两端平坦

relu函数(取最大值函数)
在这里插入图片描述

重点隐藏层的常用relu函数,因为sigmoid函数与tanh函数两边都很平坦,基本是平行的,梯度下降难以实现(梯度消失现象),这会导致输出层神经元学习率缓慢,故常用relu函数

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小样x

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值