深度学习-激活函数

激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。引入非线性激活函数,可使深
层神经网络的表达能力更加强大。
优秀的激活函数应满足:

  • 非线性: 激活函数非线性时,多层神经网络可逼近所有函数
  • 可微性: 优化器大多用梯度下降更新参数
  • 单调性: 当激活函数是单调的,能保证单层网络的损失函数是凸函数
  • 近似恒等性:f(x)xf(x) \approx x . 当参数初始化为随机小值时,神经网络更稳定

激活函数输出值的范围:

  • 激活函数输出为有限值时,基于梯度的优化方法更稳定
  • 激活函数输出为无限值时,建议调小学习率

常见的激活函数有:sigmoid,tanh,ReLU,Leaky ReLU,PReLU,RReLU,
ELU(Exponential Linear Units),softplus,softsign,softmax等,下面介绍几个典型的激活
函数:

  1. sigmoid

函数图像

导数图像

优点:

  • 输出映射在(0,1)之间,单调连续,输出范围有限,优化稳定,可用作输出层;
  • 求导容易。

缺点:

  • 易造成梯度消失;((对于深层网络,需要对多层参数进行链式求导,根据其导数范围(0,0.25),多个参数的导数相乘会趋近为0,梯度消失))
  • 输出非0均值,收敛慢;(其数值在(0,1),都是正数)
  • 幂运算复杂,训练时间长。

sigmoid函数只能处理两个类(因为其值要么大等于0.5,要么小于0.5,只能判断这两种情况),不适用于多分类问题。而softmax可以有效解决这个问题,并且softmax函数大都运用在神经网路中的最后一层网络中,使得值的区间在(0,1)之间,而不是二分类的。

  1. tanh

函数图像

导数图像

优点:

  • 比sigmoid函数收敛速度更快。
  • 相比sigmoid函数,其输出以0为中心。

缺点:

  • 易造成梯度消失;
  • 幂运算复杂,训练时间长。
  1. ReLU

函数图像

导数图像

优点:

  • 解决了梯度消失问题(在正区间);
  • 只需判断输入是否大于0,计算速度快;
  • 收敛速度远快于sigmoid和tanh,因为sigmoid和tanh涉及很多expensive的操作;
  • 提供了神经网络的稀疏表达能力。

缺点:

  • 输出非0均值,收敛慢;
  • Dead ReLU问题:某些神经元可能永远不会被激活,导致相应的参数永远不能被更新。(参数为负数的时候,梯度为0)
  1. Leaky ReLU

函数图像

导数图像

理论上来讲,Leaky ReLU有ReLU的所有优点,外加不会有Dead ReLU问题,但是在实际操作当
中,并没有完全证明Leaky ReLU总是好于ReLU。

  1. softmax
对神经网络全连接层输出进行变换,使其服从概率分布,即每个值都位于[0,1]区间且和为1。

对于初学者的建议:

  • 首选ReLU激活函数;
  • 学习率设置较小值;
  • 输入特征标准化,即让输入特征满足以0为均值,1为标准差的正态分布;
  • 初始化问题:初始参数中心化,即让随机生成的参数满足以0为均值,2\sqrt{\frac 2{当前层输入特征个数}} 为标准差的正态分布。
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读