神经网络的激励函数用来将神经元的激活水平转化为输出信号。毕竟函数的作用就是实现一种空间的转化。在神经网络中讲输出值压缩到一个有限的范围内。在这里主要介绍 Relu函数及其变体,sigmod函数(S型函数),双曲正切函数,双极性S函数,径向基函数以及one-side hyperbolic ratio function。
部分资料参考wikipedia。
1.ReLu 函数
全称是rectified linear unit,它被广泛应用到了卷积神经网络中,并且出现了一些变体。
函数基本形式是:f(x) = max(0,x), smooth approxiation形式为:
函数的样子所示:
两种变体是:
noisy Relu
也就是在原来的Relu分类部分添加均值为0,方差为sigma的高斯噪声
leaky Relu
这个leaky ReLu的好处是当神经元处于非激活状态是,允许一个非0的梯度存在。
2、单极性 sigmod函数,
图形为:
3、双极性sigma函数,
图形为:
4、双曲正切函数,
图形为:
5、径向基函数,
,g表示的就是径向基函数,绝对值表达的是径向距离。
图形为:
6、one-side hyperbolic ratio function,
图形为: