激活函数的选择，sigmoid/tanh/ReLU的比较

最新推荐文章于 2024-05-23 13:12:48 发布
最新推荐文章于 2024-05-23 13:12:48 发布
阅读量5.3k 收藏 9
点赞数 2
分类专栏： 深度学习 文章标签： 激活函数 梯度消失与梯度爆炸 深度学习

原文: https://www.cnblogs.com/makefile/p/activation-function.html#undefined © 康行天下（只摘取部分内容）

激活函数选择

  1. 首先尝试ReLU,速度快,但要注意训练的状态.
  2. 如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。
  3. 尝试tanh正切函数(以零点为中心,零点处梯度为1)
  4. sigmoid/tanh在RNN（LSTM、注意力机制等）结构中有所应用，作为门控或者概率值.
  5. 在浅层神经网络中，如不超过4层的，可选择使用多种激励函数，没有太大的影响

激活函数的作用

  1. 加入非线性因素
  2. 充分组合特征

下面说明一下为什么有组合特征的作用.

一般函数都可以通过泰勒展开式来近似计算, 如sigmoid激活函数中的指数项可以通过如下的泰勒展开来近似计算:

                                                
其中有平方项,立方项及更更高项, 而 z=wx+bz=wx+b, 因此可以看作是输入特征 x 的组合. 以前需要由领域专家知识进行特征组合,现在激活函数能起到一种类似特征组合的作用. (思想来源: 微博@算法组)

ReLU(Rectified Linear Unit,修正线性单元)

为什么ReLU,Maxout等能够提供网络的非线性建模能力？它们看起来是分段线性函数，然而并不满足完整的线性要求：加法f(x+y)=f(x)+f(y)和乘法f(ax)=a×f(x)或者写作f(αx1+βx2)=αf(x1)+βf(x2)f(αx1+βx2)=αf(x1)+βf(x2)。非线性意味着得到的输出不可能由输入的线性组合重新得到（重现）。假如网络中不使用非线性激活函数，那么这个网络可以被一个单层感知器代替得到相同的输出，因为线性层加起来后还是线性的，可以被另一个线性函数替代。

ReLU的稀疏性（摘自这里）：

当前，深度学习一个明确的目标是从数据变量中解离出关键因子。原始数据（以自然数据为主）中通常缠绕着高度密集的特征。然而，如果能够解开特征间缠绕的复杂关系，转换为稀疏特征，那么特征就有了鲁棒性（去掉了无关的噪声）。稀疏特征并不需要网络具有很强的处理线性不可分机制。那么在深度网络中，对非线性的依赖程度就可以缩一缩。一旦神经元与神经元之间改为线性激活，网络的非线性部分仅仅来自于神经元部分选择性激活。
对比大脑工作的95%稀疏性来看，现有的计算神经网络和生物神经网络还是有很大差距的。庆幸的是，ReLu只有负值才会被稀疏掉，即引入的稀疏性是可以训练调节的，是动态变化的。只要进行梯度训练，网络可以向误差减少的方向，自动调控稀疏比率，保证激活链上存在着合理数量的非零值。

ReLU 缺点

  • 坏死: ReLU 强制的稀疏处理会减少模型的有效容量（即特征屏蔽太多，导致模型无法学习到有效特征）。由于ReLU在x < 0时梯度为0，这样就导致负的梯度在这个ReLU被置零，而且这个神经元有可能再也不会被任何数据激活，称为神经元“坏死”。
  • 无负值: ReLU和sigmoid的一个相同点是结果是正值，没有负值.

sigmoid作激活函数的优缺点

历史上很流行(Historically popular since they have nice interpretation as a saturating “firing rate” of a neuron),梯度计算较为方便:

                             

优势是能够控制数值的幅度,在深层网络中可以保持数据幅度不会出现大的变化;而ReLU不会对数据的幅度做约束.

存在三个问题:

  1. 饱和的神经元会"杀死"梯度,指离中心点较远的x处的导数接近于0,停止反向传播的学习过程.
  2. sigmoid的输出不是以0为中心,而是0.5,这样在求权重w的梯度时,梯度总是正或负的.
  3. 指数计算耗时

为什么tanh相比sigmoid收敛更快:

  1. 梯度消失问题程度
    tanh′(x)=1−tanh(x)2∈(0,1)tanh′⁡(x)=1−tanh⁡(x)2∈(0,1)
    sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4)sigmoid: s′(x)=s(x)×(1−s(x))∈(0,1/4)
    可以看出tanh(x)的梯度消失问题比sigmoid要轻.梯度如果过早消失,收敛速度较慢.
  2. 以零为中心的影响
    如果当前参数(w0,w1)的最佳优化方向是(+d0, -d1),则根据反向传播计算公式,我们希望 x0 和 x1 符号相反。但是如果上一级神经元采用 Sigmoid 函数作为激活函数，sigmoid不以0为中心，输出值恒为正，那么我们无法进行最快的参数更新，而是走 Z 字形逼近最优解。

梯度消失与梯度爆炸

梯度消失/爆炸原因及解决办法

原因,浅层的梯度计算需要后面各层的权重及激活函数导数的乘积,因此可能出现前层比后层的学习率小(vanishing gradient)或大(exploding)的问题,所以具有不稳定性.那么如何解决呢?

需要考虑几个方面:

  • 权重初始化
    使用合适的方式初始化权重, 如ReLU使用MSRA的初始化方式, tanh使用xavier初始化方式.
  • 激活函数选择
    激活函数要选择ReLU等梯度累乘稳定的.
  • 学习率
    一种训练优化方式是对输入做白化操作(包括正规化和去相关), 目的是可以选择更大的学习率. 现代深度学习网络中常使用Batch Normalization(包括正规化步骤,但不含去相关). (All you need is a good init. If you can't find the good init, use Batch Normalization.)

由于梯度的公式包含每层激励的导数以及权重的乘积,因此让中间层的乘积约等于1即可.但是sigmoid这种函数的导数值又与权重有关系(最大值1/4,两边对称下降),所以含有sigmoid的神经网络不容易解决,输出层的activation大部分饱和,因此不建议使用sigmoid.
ReLU在自变量大于0时导数为1,小于0时导数为0,因此可以解决上述问题.

梯度爆炸
由于sigmoid,ReLU等函数的梯度都在[0,1]以内，所以不会引发梯度爆炸问题。 而梯度爆炸需要采用梯度裁剪、BN、设置较小学习率等方式解决。

 

 

 

FJZ669
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于泰勒级数展开法的sigmoid函数的硬件实现
12-29
本代码主要采用matlab模拟硬件实现sigmoid的原理。 本代码的具体实现细节，可以参考我的博文--Sigmoid函数的特性及硬件实现方法--含matlab代码及讲解 https://blog.csdn.net/qq_35721810/article/details/85320293 直接运行test.m就可以看到运行结果
激活函数-Sigmoid, Tanh及ReLU
lawenliu的专栏
11-01 6万+
什么是激活函数 在神经网络中，我们会对所有的输入进行加权求和，之后我们会在对结果施加一个函数，这个函数就是我们所说的激活函数。如下图所示。 为什么使用激活函数 我们使用激活函数并不是真的激活什么，这只是一个抽象概念，使用激活函数时为了让中间输出多样化，能够处理更复杂的问题。 如果不适用结果函数的话，每一层最后输出的都是上一层输入的线性函数，不管加多少层神经网络，我们最后的输出也只...
比较双曲正切tanh与sigmoid激活函数的性能差异
staple
04-23 3111
制作一个二分类网络分类minst 0和3 (0,3)-n*m*2-(1,0)(0,1) 激活函数分别使用tanh和sigmoid，用交叉对比固定收敛标准多次测量取平均值的办法比较两个激活函数到底有什么差异。 数据1：tanh 每个收敛标准收敛199次，共25*199次 tanh ...
深度学习——激活函数Sigmoid/Tanh/ReLU
热门推荐
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
sigmoid、tanh和ReLU
aspace123的博客
02-17 780
sigmoid的缺点： 1.神经元接近0或1时会饱和，导致梯度消失。 2.sigmoid取值范围[0,1]，不是0中心的。影响反向传播时梯度下降的运作，梯度要么正数要么负数，权重更新Z字型下降，不过算是个小问题。 tanh是一个简单放大的sigmoid神经元，取值范围[-1, 1] ReLU函数，公式为f(x) = max(0, x) 优点： 1.线性，收敛速度快。 2.不含指数运算...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
sc179的博客
09-03 1万+
目录1 什么是激活函数2 为什么使用激活函数3 常用激活函数1 Sigmoid2 Tanh3 Relu 1 什么是激活函数 激活函数（Activation Function）在人工神经网络的神经元上运行，负责将神经元的输入映射到输出端。 如图，在神经元中，输入的 inputs 通过加权求和后，还被作用了一个函数，这个函数就是激活函数，引入激活函数是为了使神经网络模型具有非线性特性。 2 为什么使用激活函数 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为...sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
。。。
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
def sigmoid(x): return 1.0/(1.0+np.exp(-x)) def tanh(x): return (np.exp(x) - np.exp(-x))/(np.exp(x)+np.exp(-x)) x = np.linspace(-8,8) fig = plt.figure(figsize = (12,4)) ax1 = plt.subplot(12
文档：激活函数的比较和优缺点sigmoid tanh relu.docx
06-18
。。。
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
激活函数ReLu、sigmoid、tanh的区别
YuanLuo0911的博客
08-11 7268
激活函数ReLu、sigmoid、tanh的区别 三种常见的非线性激活函数有：relu、sigmoid、tanh 对应的公式分别为： ReLu：y = max(0, x) ∀y∈(0,无穷)\quad\forall y\in\mathbb (0,无穷)∀y∈(0,无穷) sigmoid：y = 1/(1 + e-x) ∀y∈(0,1)\quad\forall y\i...
Sigmoid,Tanh,Relu的区别
weixin_39306118的博客
05-19 617
https://www.jianshu.com/p/f86002b7fcc4 转载 https://www.cnblogs.com/hutao722/p/9732223.html
深度学习之基于Yolov7驾驶员疲劳检测系统
2301_79809972的博客
05-17 1041
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
深度学习之基于YoloV5人体打架异常行为识别
2301_79809972的博客
05-20 700
一、项目背景与意义随着社会的发展和科技的进步，对于公共场所的安全监控需求日益增加。尤其是在一些高人流量的场所，如学校、商场、车站等，打架斗殴等异常行为的发生可能会给人们的生命安全和财产带来威胁。因此，开发一种能够实时监测并识别打架斗殴等异常行为的技术显得尤为重要。基于YOLOv5的人体打架异常行为识别项目旨在利用深度学习技术，实现对人体打架等异常行为的快速、准确识别，为公共场所的安全监控提供有力支持。二、技术实现。
机器学习深度学习驱动的光子学设计与应用
YHJX57的博客
05-17 755
案例分析与实践：基于VAE的自由形状超表面结构设计，Advanced Materials 31 (35), 1901111(2019), SCIENCE CHINA, 63(8), 1-8 (2020)案例分析与实践：基于多算法融合的多功能超表面设计，Advanced Materials 34 (16), 2110022, 2022。多算法融合在多功能超表面设计中的作用，如性能提升、设计优化等。基于VAE的设计流程，如数据准备、模型训练、结构生成等。
深度学习之基于Matlab的BP神经网络交通标志识别
最新发布
2301_79810943的博客
05-23 392
一、项目背景与意义随着智能交通系统（ITS）的快速发展，交通标志识别（TSR）技术作为其关键组成部分，受到了广泛的关注。交通标志识别技术可以帮助驾驶者更好地理解道路信息，提高驾驶安全性。同时，该技术也是实现自动驾驶、辅助驾驶等高级驾驶辅助系统（ADAS）的重要基础。传统的交通标志识别方法主要依赖于图像处理技术和特征提取技术，但在实际应用中，这些方法往往受到光照变化、遮挡、标志磨损等因素的影响，导致识别准确率不高。
深度学习之基于YoloV5钢材微小缺陷检测系统
2301_79809972的博客
05-21 327
一、项目背景与目标在钢材生产过程中，由于各种因素，钢材表面可能会出现微小缺陷，如裂纹、气孔等。这些缺陷如果不及时发现和处理，将会严重影响钢材的质量和安全性。因此，开发一个能够准确、快速地检测钢材微小缺陷的系统显得尤为重要。本项目旨在利用深度学习技术，具体是YOLOv5算法，构建一个钢材微小缺陷检测系统，以提高钢材生产的质量控制水平。二、技术选型与特点YOLOv5算法：YOLOv5是一种实时目标检测算法，具有高效、准确的特点。
常用深度学习工作站、服务器推荐
HPC_factory的博客
05-16 443
1块500GB M.2 SSD系统盘+1块8TB SATA 企业级硬盘作为数据盘。1块1TB M.2 SSD系统盘+1块18TB SATA 企业级硬盘作为数据盘。1块1TB U.2 SSD系统盘+3块18TB SATA 企业级硬盘作为数据盘。2张NVIDIA Geforce RTX 4090三风扇版。4张NVIDIA Geforce RTX 4090三风扇版。NVIDIA Geforce RTX 4090涡轮版。常用配置以单卡、双卡、四卡工作站，八卡服务器为主。目前常用的显卡4090、A6000.
请设计一个5层全连接网络，损失函数自由，但是激励函数使用sigmoid/tanh/relu，反向传播过程自己写，不能使用pytorch框架的自动求导机制，目标是实现如下函数： y=x2+2x-3
08-07
好的，我可以回答这个问题。以下是一个5层全连接网络的示例，其中激励函数使用ReLU，损失函数为均方误差(MSE)，反向传播过程使用手动计算梯度的方法实现： ``` import numpy as np # 定义激励函数ReLU def ReLU(x): return np.maximum(, x) # 定义损失函数MSE def MSE(y_pred, y_true): return np.mean((y_pred - y_true) ** 2) # 定义反向传播函数 def backward(x, y_pred, y_true, lr): # 计算输出层的误差 delta = 2 * (y_pred - y_true) # 更新输出层的权重和偏置 W5 -= lr * np.dot(h4.T, delta) b5 -= lr * np.sum(delta, axis=, keepdims=True) # 计算第4层的误差 delta = np.dot(delta, W5.T) * (h4 > ) # 更新第4层的权重和偏置 W4 -= lr * np.dot(h3.T, delta) b4 -= lr * np.sum(delta, axis=, keepdims=True) # 计算第3层的误差 delta = np.dot(delta, W4.T) * (h3 > ) # 更新第3层的权重和偏置 W3 -= lr * np.dot(h2.T, delta) b3 -= lr * np.sum(delta, axis=, keepdims=True) # 计算第2层的误差 delta = np.dot(delta, W3.T) * (h2 > ) # 更新第2层的权重和偏置 W2 -= lr * np.dot(h1.T, delta) b2 -= lr * np.sum(delta, axis=, keepdims=True) # 计算第1层的误差 delta = np.dot(delta, W2.T) * (h1 > ) # 更新第1层的权重和偏置 W1 -= lr * np.dot(x.T, delta) b1 -= lr * np.sum(delta, axis=, keepdims=True) # 初始化权重和偏置 W1 = np.random.randn(1, 10) b1 = np.zeros((1, 10)) W2 = np.random.randn(10, 20) b2 = np.zeros((1, 20)) W3 = np.random.randn(20, 30) b3 = np.zeros((1, 30)) W4 = np.random.randn(30, 40) b4 = np.zeros((1, 40)) W5 = np.random.randn(40, 1) b5 = np.zeros((1, 1)) # 训练模型 lr = .01 for i in range(10000): # 生成随机数据 x = np.random.randn(100, 1) y_true = x ** 2 + 2 * x - 3 # 前向传播 h1 = ReLU(np.dot(x, W1) + b1) h2 = ReLU(np.dot(h1, W2) + b2) h3 = ReLU(np.dot(h2, W3) + b3) h4 = ReLU(np.dot(h3, W4) + b4) y_pred = np.dot(h4, W5) + b5 # 计算损失函数 loss = MSE(y_pred, y_true) # 反向传播 backward(x, y_pred, y_true, lr) # 打印损失函数 if i % 100 == : print('Iteration %d, loss = %f' % (i, loss)) # 测试模型 x_test = np.linspace(-5, 5, 100).reshape(-1, 1) y_test = x_test ** 2 + 2 * x_test - 3 h1 = ReLU(np.dot(x_test, W1) + b1) h2 = ReLU(np.dot(h1, W2) + b2) h3 = ReLU(np.dot(h2, W3) + b3) h4 = ReLU(np.dot(h3, W4) + b4) y_pred = np.dot(h4, W5) + b5 print('Test loss = %f' % MSE(y_pred, y_test)) ``` 这个网络可以实现目标函数 y=x^2+2x-3 的拟合。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值