卷积神经网络基础题——CNN中为什么用ReLU，而不用Sigmoid?

最新推荐文章于 2024-04-08 00:16:23 发布
最新推荐文章于 2024-04-08 00:16:23 发布
阅读量2.6k 收藏 6
点赞数 3
分类专栏： 面试题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36825778/article/details/102538342
版权
卷积神经网络中，ReLU因其稀疏性优势常优于Sigmoid。ReLU的输出更稀疏，有助于寻找和拟合特征，提高模型训练效率。Sigmoid虽然输出范围在0到1之间，但稀疏性不足，可能导致训练难题。
摘要由CSDN通过智能技术生成

CNN中为什么用ReLU，而不用Sigmoid?

  • ReLU： f ( x ) = m a x ( 0 , x ) , f ( x ) ∈ ( 0 , + ∞ ) f(x)=max(0,x),\qquad f(x)\in(0,+\infin) f(x)
最低0.47元/天 解锁文章
G5Lorenzo
关注
专栏目录
为什么使用ReLU而不是sigmoid
qishi的博客
10-12 2384
sigmoid计算复杂，需要计算指数 梯度弥散： 对于每层只有一个神经元的网络，考虑每一层的偏导数，我们发现 ∂C∂b1=σ′(z1),w2σ′(z2),w3σ′(z3),w4σ′(z4),∂C∂a4.(122)\begin{eqnarray} \frac{\partial C}{\partial b_1} = \sigma’(z_1) , w_2 \sigma’(z_2) , w_3
卷积神经网络CNNs 为什么要用relu作为激活函数？
Dontla的博客
01-18 7359
relu激活函数的优势： （1）反向传播时，可以避免梯度消失。 （2）Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。 （3）相对于sigmoid激活函数，tanh激活函数，求导简单。采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对...
为什么在CNNs中激活函数选用ReLU，而不用sigmoid或tanh函数？
benniaofei18的博客
04-09 7961
https://blog.csdn.net/shijing_0214/article/details/53143393第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。...
深度学习（十六） ReLU为什么比Sigmoid效果好
weixin_30920853的博客
05-01 340
sigmoid: Relu: 为什么通常Relu比sigmoid和tanh强，有什么不同？主要是因为它们gradient特性不同。 1.sigmoid和tanh的gradient在饱和区域非常平缓，接近于0，很容易造成vanishing gradient的问题，减缓收敛速度。vanishing gradient在网络层数多的时候尤其明显，是加深网络结构的主要障碍之一。相反，...
【深度学习】为什么使用ReLU作为激活函数，ReLU比sigmoid优秀在哪里
王爷的CSDN
07-04 9146
推动深度学习变得兴起的主要因素包括：数据规模、计算量及算法的创新。 当前大多数算法的创新都是为了提升运算能力，使运算速度更快，尤其对于复杂的神经网络、大规模的数据而言运算效率确实非常重要，而用ReLU替换sigmoid作为激活函数，便是其中算法创新的一个典型案例。 为什么使用ReLU作为激活函数，ReLU比sigmoid优秀在哪里 从图中可以看到，在sigmoid函数箭头所指区域，梯度会...
3.4 CNN卷积神经网络基础知识-ReLU激活函数(百度架构师手把手带你零基础实践深度学习原版笔记系列)
aiAI
10-14 1340
3.4CNN卷积神经网络基础知识-ReLU激活函数(百度架构师手把手带你零基础实践深度学习原版笔记系列) ReLU激活函数 前面介绍的网络结构中，普遍使用Sigmoid函数做激活函数。在神经网络发展的早期，Sigmoid函数用的比较多，而目前用的较多的激活函数是ReLU。这是因为Sigmoid函数在反向传播过程中，容易造成梯度的衰减。让我们仔细观察Sigmoid函数的形式，就能发现这一问题。 Sigmoid激活函数定义如下： ReLU激活函数的定义如下： 下面的程序画出了Sigmo..
cnn卷积神经网络反向传播,cnn正向传播和反向传播
m0_54846070的博客
08-15 1723
下面我尽可能地用简单的语言来阐述下我的看法（叙述中假设你已经大致知道什么是深度学习和神经网络：大数据和高性能计算在如今的互联网时代，都让神经网络有了前所未有的“更深”的可能，一批新方法被发明出来（DenoiseAutoencoder、图像识别中，他提出了利用RBM预训练的方法。几年后人们发现？3，抛砖引玉。在这个框架下？...
深度学习——卷积神经网络（CNN）简介
johnny_love_1968的博客
06-07 3万+
卷积神经网络简介 文章目录卷积神经网络简介前言一.如何理解卷积1.1什么是卷积1.2 为什么要卷积二.神经网络的结构三.卷积层四.池化层五.全连接层六.数据训练 前言 卷积神经网络（Convolutional Neural Networks，简称：CNN）是深度学习当中一个非常重要的神经网络结构。它更多的是用在图像图片处理，视频处理，音频处理以及自然语言处理等等。 早在上世纪80年代左右，卷积神经网络的概念就已经被提出来了。但其真正的崛起却是在21世纪之后，21世纪之后，随着深度学习理论的不断完善，同时，由
【完整版】清华大学精品AI人工智能课程 第7章 卷积神经网络 含习题 共51页.pptx
09-21
这些章节内容深入浅出地介绍了卷积神经网络的基本概念、发展历程和实际应用，为学习者提供了全面的理论基础和实践指导，有助于进一步理解人工智能领域中的深度学习技术，特别是卷积神经网络在图像处理方面的强大功能...
为什么通常ReLU比Sigmoid效果好
m0_50833438的博客
09-20 1061
1、ReLU的计算速度比Sigmoid更快，因为ReLU只涉及简单的阈值比较和取最大值的操作。这在训练大型深度网络时可以节省大量的计算资源。2、Sigmoid函数的导数在接近其两个极端（0和1）时非常接近于0，这会导致反向传播中的梯度消失问题。这意味着在深层网络中，通过多个Sigmoid层传播梯度时，梯度会逐渐变得非常小，导致网络训练变得非常缓慢，甚至无法收敛。ReLU通过在正数部分保持导数为1，从而更好地解决了梯度消失问题。3、在ReLU中，负数部分被截断为0，所以在每个神经元上只有一部分激活。
机器学习—为什么在神经网络中Relu激活函数会比Sigmoid激活函数用的更多？
weixin_43612049的博客
09-30 357
问题一：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机（MLP）了。 问题二：为什么引入Relu呢？ （1）采用sigmoid等函数，反向传播求误差梯度时，求导计算量很大，而Relu求导非常容易。 ...
卷积神经网络CNN【3】非线性激活层Relu层
阿飞CVPR
08-22 8291
【3】非线性激活层Relu Relu函数 f(x)=max(0,x) 非线性激活层即保留大于0的值，即保留特征比较好的值，将特征小于0的值舍去 卷积后一般先跟relu再跟池化。 ...
一文读懂Sigmoid和Relu的区别
最新发布
yuxingwu9872的博客
04-08 944
综上，Sigmoid和Relu各有优缺点，选择哪种激活函数要根据具体的问题和数据来决定。一般来说，Relu更适合深层网络的隐藏层，而Sigmoid更适合二分类问题的输出层。
卷积神经网络CNN
FanJin的博客
03-01 5262
卷积神经网络CNN可谓是深度学习领域中较为成功的一种网络，计算机视觉一直是人工智能领域的先锋部队。ILSVRC（ImageNet Large Scale Visual Recognition Challenge），又称ImageNet比赛，是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一。ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万...
深度学习中的Relu和Sigmoid/tanh区别
zhouzongzong的博客
03-16 2936
ReLU 大于0则原样输出，小于0，截断 Sigmoid函数 ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU 效果上： 1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会 2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生 性能上： 采用
神经网络—非线性激活中ReLU函数和Sigmoid函数的使用
m0_51816252的博客
06-02 2365
非线性激活在神经网络的搭建中很重要，我们可以简单的理解为非线性变化的目的就是为神经网络中引入非线性特征，这样才能训练出符合各种特征，各种曲线的模型。
卷积神经网络（一）：常见的激活函数以及其意义
Fire_Light_的博客
03-13 3万+
激活函数的意义： 在生物意义上的神经元中，只有前面的树突传递的信号的加权和值大于某一个特定的阈值的时候，后面的神经元才会被激活。 简单的说激活函数的意义在于判定每个神经元的输出 有没有达到阈值。 放在人脸识别卷积神经网络中来思考，卷积层的激活函数的意义在于这一块区域的特征强度如果没有达到一定的标准，就输出0，表明这种特征提取方式（卷积核w）不能在该块区域提取到特征，或者说这块区域的这种...
卷积神经网络(卷积层，激活函数Relu,池化层，计算公式及API解释)
热门推荐
Mogul的博客
11-19 5万+
1. 卷积神经网络 （卷积层，激活函数，池化层，全连接层） (1) 把神经网络的隐藏层分为卷积层和池化层(又叫下采样层) · 卷积层 ： 通过在原始图像上平移来提取特征 · 池化层 ： 通过特征后稀疏参数来减少学习的参数，降低网络的复杂度。 2. 卷积层：（定义过滤器） (1)大小 （观察窗口）、一般都是奇数(1*1、3......
卷积神经网络CNN详解：从基础知识到LeNet
"该资源是一份关于卷积神经网络（CNN）的快速入门笔记，涵盖了CNN的基本概念，包括LeNet模型的介绍，卷积、非线性处理、池化和全连接层等核心组件的详细解释。" 卷积神经网络（CNN）是一种专门用于处理具有网格结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值