神经网络-激活函数

一、种类

常见的神经网络激活函数包括sigmoid、softmax、relu、tanh等,具体函数形式和特点可以参考1
接下来简单说一下各类激活函数的特点。

(一)、sigmoid

  • 输出值范围在0-1之间,非线性

  • 导数值简单, y ′ = y ( 1 − y ) y'=y(1-y) y=y(1y)

  • 当值很大或者很小的时候,导数值趋近于0,从而加重gradient vanish,收敛速度慢

(二)、softmax

  • 输出值在0-1之间,可方便表示概率,适合输出层使用

(三)、relu

参考2

  • 当输入x小于0的时候,输出为0,可以增加隐层节点的稀疏性

  • 计算快,导数为常数,不需要指数计算

  • 收敛速度快,因为导数值为常数,不会像sigmoid那样加重gradient vanish

(四)、tanh

  • 类似于sigmoid,存在导数值饱和的问题

二、选择

分类问题3,最后一层使用softmax,损失函数使用cross entropy
回归问题,最后一层使用sigmoid或者tanh,损失函数使用平方和
层内部的非线性函数使用ReLU


后面的技术分享转移到微信公众号上面更新了,【欢迎扫码关注交流】

在这里插入图片描述


  1. https://en.wikipedia.org/wiki/Activation_function ↩︎

  2. https://www.quora.com/What-is-special-about-rectifier-neural-units-used-in-NN-learning ↩︎

  3. http://stackoverflow.com/questions/34229140/choosing-from-different-cost-function-and-activation-function-of-a-neural-networ?lq=1 ↩︎

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值