深度学习的activation function

最新推荐文章于 2023-03-29 21:24:19 发布
最新推荐文章于 2023-03-29 21:24:19 发布
阅读量410 收藏
点赞数
分类专栏： 机器学习 tensorflow 深度学习 文章标签： activation functio

转载自：https://zhuanlan.zhihu.com/p/25110450

TLDR (or the take-away)

优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function:

\text{ReLU} = \max(0, x)

背景

深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经元的activate，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的capacity来抓取复杂的pattern，在各个领域取得state-of-the-art的结果。显而易见，activation function在深度学习中举足轻重，也是很活跃的研究领域之一。目前来讲，选择怎样的activation function不在于它能否模拟真正的神经元，而在于能否便于优化整个深度神经网络。下面我们简单聊一下各类函数的特点以及为什么现在优先推荐ReLU函数。

Sigmoid函数

\sigma(x) = \frac{1}{1 + e^{-x}}

Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数，其导数为 \sigma(x)(1 - \sigma(x)) ，这是优点。然而，Sigmoid有三大缺点：

  • 容易出现gradient vanishing
  • 函数输出并不是zero-centered
  • 幂运算相对来讲比较耗时

Gradient Vanishing

优化神经网络的方法是Back Propagation，即导数的后向传递：先计算输出层对应的loss，然后将loss以导数的形式不断向上一层网络传递，修正相应的参数，达到降低loss的目的。 Sigmoid函数在深度网络中常常会导致导数逐渐变为0，使得参数无法被更新，神经网络无法被优化。原因在于两点：(1) 在上图中容易看出，当\sigma(x)中x较大或较小时，导数接近0，而后向传递的数学依据是微积分求导的链式法则，当前层的导数需要之前各层导数的乘积，几个小数的相乘，结果会很接近0 (2) Sigmoid导数的最大值是0.25，这意味着导数在每一层至少会被压缩为原来的1/4，通过两层后被变为1/16，…，通过10层后为1/1048576。请注意这里是“至少”，导数达到最大值这种情况还是很少见的。

输出不是zero-centered

Sigmoid函数的输出值恒大于0，这会导致模型训练的收敛速度变慢。举例来讲，对\sigma(\sum_i w_i x_i + b)，如果所有x_i均为正数或负数，那么其对w_i的导数总是正数或负数，这会导致如下图红色箭头所示的阶梯式更新，这显然并非一个好的优化路径。深度学习往往需要大量时间来处理大量数据，模型的收敛速度是尤为重要的。所以，总体上来讲，训练深度学习网络尽量使用zero-centered数据 (可以经过数据预处理实现) 和zero-centered输出。


幂运算相对耗时

相对于前两项，这其实并不是一个大问题，我们目前是具备相应计算能力的，但面对深度学习中庞大的计算量，最好是能省则省 :-)。之后我们会看到，在ReLU函数中，需要做的仅仅是一个thresholding，相对于幂运算来讲会快很多。

tanh函数

\text{tanh}\ x = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh读作Hyperbolic Tangent，如上图所示，它解决了zero-centered的输出问题，然而，gradient vanishing的问题和幂运算的问题仍然存在。

ReLU函数

\text{ReLU} = \max(0, x)

ReLU函数其实就是一个取最大值函数，注意这并不是全区间可导的，但是我们可以取sub-gradient，如上图所示。ReLU虽然简单，但却是近几年的重要成果，有以下几大优点：

  • 解决了gradient vanishing问题 (在正区间)
  • 计算速度非常快，只需要判断输入是否大于0
  • 收敛速度远快于sigmoid和tanh

ReLU也有几个需要特别注意的问题：
  1. ReLU的输出不是zero-centered
  2. Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！


Leaky ReLU函数

f(x) = \max(0.01x, x)

人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为0.01x而非0。另外一种直观的想法是基于参数的方法，即Parametric ReLU:f(x) = \max(\alpha x, x)，其中\alpha可由back propagation学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

ELU (Exponential Linear Units) 函数

f(x)= \begin{cases} x,& \text{if } x > 0\\ \alpha(e^x - 1), & \text{otherwise}\end{cases}

ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：

  • 不会有Dead ReLU问题
  • 输出的均值接近0，zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。

小结

建议使用ReLU函数，但是要注意初始化和learning rate的设置；可以尝试使用Leaky ReLU或ELU函数；不建议使用tanh，尤其是sigmoid函数。

参考资料

  • Udacity Deep Learning Courses
  • Stanford CS231n Course
Ivy_daisy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Google推出的深度学习框架TensorFlow（卷积神经网络）
03-02
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，专门设计用于处理和识别具有层级结构的输入，如图像和视频。CNN 在计算机视觉领域得到广泛应用，因为它们能够有效地提取图像中的特征，并对...
激活函数（Activation Function）
热门推荐
weixin_39910711的博客
03-17 4万+
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点：https://mp.weixin.qq.com/s/bleTRzA_1X3umR5UXSpuHg 深度学习中几种常见的激活函数理解与总结：https://www.cnblogs.com/XDU-Lakers/p/10557496.html 神经网络梯度消失和梯度爆炸及解决办法：https://blog.csdn.net/program_developer/article/details/80032376 常用激活函...
浅谈深度学习中的激活函数
11-15 640
激活函数的作用 首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。 比如在下面的这个问题中： 如上图(图片来源)，在最简单的情况下，数据是线性可分的，只需要一条直线就已经能够对样本进行很好地分类。 但如果情况变得复杂了一点呢？在上图中(图片来源)，数据就变成了线性不可分的情况。在这种情况
聊一聊深度学习的activation function
FontTian的博客
09-13 1508
转载自:https://zhuanlan.zhihu.com/p/25110450 TLDR (or the take-away) 优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function: 背景 深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到
Keras读取模型时报错ValueError: Unknown activation function:relu6
Will_Ye的博客
06-04 2879
这个是一个Keras不同版本的问题，function改变了，网上一搜，排头的全是解决老版本的，现在用的是Keras版本是：2.2.2 以下是收集到的两个Keras版本解决方法： Keras 2.1： model = load_model(model_path, custom_objects={‘relu6’: keras.applications.mobilenet.relu6,‘DepthwiseConv2D’: keras.applications.mobilenet.DepthwiseConv2D}
Activation Function激活函数
weixin_45646640的博客
03-29 191
Activation Function 饱和激活函数 Tanh，Sigmoid，hard-Sigmoid
深度学习常见专业名词
01-07
输入层 Input layer。即输入x的那一层。 输出层 Output layer。即输出y的那一层。 隐含层 Hidden layer。输入层和输出层之间不管隔了多少层都叫隐层。...其实是一种特征提取的过程，通常会降低维度 ...Activation Function
深度学习工具包 DeepLearningToolbox
10-15
深度学习工具包 Deprecation notice. ----- This toolbox is outdated and no longer maintained. There are much better tools available for deep learning than this toolbox, e.g. [Theano]...
深度学习.docx 深度学习是一种机器学习的分支，通过模拟人类神经系统的结构和功能来实现对复杂数据的学习和理解 深度学习模型通常
最新发布
04-06
深度学习 深度学习是一种机器学习的分支，通过模拟人类神经系统的结构和功能来实现对复杂数据的学习和理解。深度学习模型通常由多个神经网络层组成，这些层之间的连接形成了一个深层的网络结构，因此称为“深度”...
多标签胸部X射线分类的深度学习方法比较.pdf
07-14
In a systematic evaluation, using 5-fold re-sampling and a multi-label loss function, we comparethe performance of the different approachesfor pathology classification by ROC statistics andanalyze ...
深度学习之卷积神经网络CNN模式识别VS代码
02-18
深度学习之卷积神经网络CNN做手写体识别的VS代码。支持linux版本和VS2012版本。 tiny-cnn: A C++11 implementation of convolutional neural networks ======== tiny-cnn is a C++11 implementation of ...
Learned-Activation-Functions-Source:用于复制 Agostinelli 等人的研究。 学习激活函数以改进深度神经网络。 http
06-06
学习激活函数以改进深度神经网络。 这是神经网络的可学习激活函数。 实验表明，它优于整流线性单元 (ReLU) 和 Leaky ReLU。 ========================================== 记忆 使用这一层将需要更多的内存。 有一...
使用深度强化学习的虚拟自动驾驶汽车-研究论文
05-20
在本文中，我们提出了一种深度强化学习方法，以评估虚拟创建的自动驾驶场景的性能。 马尔可夫决策过程用于将车辆状态映射到动作。 折扣和奖励功能也包含在决策策略中。 为了处理导致强化学习的标准不稳定的高维度...
enas_model:使用ENAS自动构建深度学习模型
05-02
ENAS模型介绍是自动构建深度学习模型的超高效算法。 轻松生成和选择最新的DNN / RNN / CNN模型非常有用。 它可以与任何黑盒优化算法（例如策略梯度，贝叶斯优化等）集成。 ENAS论文的这种开源实现具有以下功能。 ...
Convolutional Neural Networks in Visual Computing_A Concise Guide-CRC(2018).pdf
02-09
e chapter moves on to nonlinear models through basis function expansion. e problem of over tting and gen- eralization through cross-validation and regularization is further intro- duced. e latter ...
Tensorflow2.0中利用keras读取保存的模型时, 产生错误 [ValueError: Unknown activation function:relu6]
weixin_45709671的博客
10-08 1484
在使用已经训练好的mobilenet时候，keras产生错误 [ValueError: Unknown activation function:relu6] 目前博主查到了两种解决办法： 1、查看在建立模型过程中，定义 relu6 激活函数时是否使用了 tf.keras.layers.Activation(tf.nn.relu6)，如果有的话，将其更改为：（记住，是所有的，更换前可以按 ctrl + F 键搜索一下当前的代码中是否还有未替换的） tf.keras.layers.ReLU(6.) 2、如果已
ValueError: Unknown activation function: ReLU
wj_1718190299的博客
07-19 1608
这个错误原因是 relu 应该是relu而不是ReLU
深度学习中常见的10种激活函数（Activation Function）总结
不想学习的打工人的博客
08-30 1万+
​ 激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，旨在帮助网络学习数据中的复杂模式。 ​
Non-linear activation function
希望能对学习C语言的朋友有帮助
10-31 373
深度学习专业名词翻译
08-24
深度学习专业名词翻译可以提供以下几个常见的术语： - Artificial Neural Network (ANN)：人工神经网络 - Convolutional Neural Network (CNN)：卷积神经网络 - Recurrent Neural Network (RNN)：循环神经网络 - ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值