神经网络激励函数综合

  神经网络的激励函数用来将神经元的激活水平转化为输出信号。毕竟函数的作用就是实现一种空间的转化。在神经网络中讲输出值压缩到一个有限的范围内。在这里主要介绍 Relu函数及其变体,sigmod函数(S型函数),双曲正切函数,双极性S函数,径向基函数以及one-side hyperbolic ratio function。

部分资料参考wikipedia。

1.ReLu 函数

全称是rectified linear unit,它被广泛应用到了卷积神经网络中,并且出现了一些变体。

函数基本形式是:f(x) = max(0,x), smooth approxiation形式为:

函数的样子所示:


两种变体是:

noisy Relu

也就是在原来的Relu分类部分添加均值为0,方差为sigma的高斯噪声


leaky Relu

这个leaky ReLu的好处是当神经元处于非激活状态是,允许一个非0的梯度存在。

2、单极性 sigmod函数,

图形为:

3、双极性sigma函数,

图形为:

4、双曲正切函数,

图形为:

5、径向基函数,

,g表示的就是径向基函数,绝对值表达的是径向距离。

图形为:

6、one-side hyperbolic ratio function,

图形为:








  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值