CNN中为什么使用ReLu作为激活函数

最新推荐文章于 2023-05-28 20:57:25 发布
最新推荐文章于 2023-05-28 20:57:25 发布
阅读量4.1k 收藏 14
点赞数 2
分类专栏： 吴恩达深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kangrant/article/details/106857964
版权

为什么要使用激活函数？

我们训练的神经网络模型，就是从输入到输出的一个神秘未知函数映射。我们并不知道具体的内容，只能尽可能无限的逼近它。
如果不使用激活函数，那么输出只能是线性的。
如果使用了非线性激活函数，那么就可以输出非线性函数，就可以无限逼近复杂函数。

为什么激活函数必须是非线性的？

如果是线性激活函数，不管隐藏层多深，输出永远是输入的线性组合，这样就与没有隐藏层结果相当，所以需要引入非线性激活函数。

为什么CNN中要使用ReLu？

1.使用sigmoid时，涉及到指数运算，反向传播时求导涉及到除法，计算量大。而采用ReLu函数时，整个过程计算节省很多

2.sigmoid容易产生梯度消失（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失。）

3.ReLu会使一部分神经元输出为0，造成网络的稀疏性，减少了参数之间的依存性，减少了过拟合的情况

Kangrant
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Keras 中Leaky ReLU等高级激活函数的用法
12-17
在用Keras来实现CNN等一系列网络时，我们经常用ReLU作为激活函数，一般写法如下： from keras import layers from keras import models model = models.Sequential() model.add(layers.Conv2D(32, (3, 3), ...
CNN卷积层：ReLU函数
m0_72495985的博客
11-03 990
ReLU：全称Rectified Linear Units)激活函数定义。
一文精简介绍CNN神经网络
m0_67912929的博客
05-28 8491
随着卷积网络层数的增加，误差的逆传播过程中存在的梯 度消失和梯度爆炸问题同样也会导致模型的训练难以进行，甚至会出现随着网络深度的加深，模型在训练集上的训练误差会出现先降低再升高的现象。CNN的训练，也称神经网络的学习算法与经典BP网络是一样的，都属于随机梯度下降（SGD：Stochastic Gradient Descent），也称增量梯度下降，实验中用于优化可微分目标函数的迭代算法。在CSDN上2021-11-19发布的一篇深度学习的卷积神经网，内容整理的精简，移动，现在将其进行转载，并发布在公众号“
卷积神经网络CNN
FanJin的博客
03-01 5243
卷积神经网络CNN可谓是深度学习领域中较为成功的一种网络，计算机视觉一直是人工智能领域的先锋部队。ILSVRC（ImageNet Large Scale Visual Recognition Challenge），又称ImageNet比赛，是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一。ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万...
深度学习入门基础CNN系列——池化（Pooling）和Sigmoid、ReLU激活函数
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
01-18 1840
池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，其好处是当输入数据做出少量平移时，经过池化函数后的大多数输出还能保持不变。比如：当识别一张图像是否是人脸时，我们需要知道人脸左边有一只眼睛，右边也有一只眼睛，而不需要知道眼睛的精确位置，这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小，如果后面连接的是全连接层，能有效的减小神经元的个数，节省存储空间并提高计算效率。
机器学习——sigmoid、tanh、relu等激活函数总结
程序猿之家
08-28 9053
一、什么是激活函数？ 一个神经元会同时接收多个信号，然后将这些信号乘以一定权重求和，再用函数处理后再输出新的信号。对神经元的输入进行处理，以获得输出的函数称为激活函数。 二、为什么要用激活函数？ 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习...
为什么CNN的激活函数使用relu,RNN的激活函数使用tanh？
qq_45689637的博客
04-17 642
为什么CNN的激活函数使用relu,RNN的激活函数使用tanh？
pytorch方法测试——激活函数(ReLU)详解
09-18
总结来说，ReLU激活函数在PyTorch中的使用非常直观且高效。它在神经网络的隐藏层中起到关键作用，通过引入非线性，帮助网络学习更复杂的输入-输出映射关系。在实践中，ReLU因其简单、计算效率高以及缓解梯度消失问题...
verilog实现卷积神经网络CNN，包括卷积层，Relu激活层，FC全连接层，pool池化层
04-22
ReLU（Rectified Linear Unit）激活函数在神经网络中广泛使用，它可增加模型的非线性。`Relu_activation.v`和`Relu.v`文件可能包含了ReLU函数的实现。在Verilog中，这通常涉及对每个神经元的输出应用阈值函数，将...
vivado2019.2平台中通过verilog实现CNN卷积神经网络包括卷积层,最大化池化层以及ReLU激活层+操作视频
06-07
2.内容：题目，vivado2019.2平台中通过verilog实现CNN卷积神经网络包括卷积层,最大化池化层以及ReLU激活层+操作视频 3.用处：用于CNN卷积神经网络算法编程学习 4.指向人群：本科，硕士，博士等教研使用 5.运行...
python 深度学习中的4种激活函数
12-16
ReLU函数是最常使用的激活函数之一，它的形式为`f(x) = max(0, x)`，当x时，函数返回0，当x>0时，函数返回x。ReLU函数的主要优势在于其在x>0时的梯度恒为1，避免了梯度消失问题，加速了模型的训练。然而，当x时，...
卷积神经网络CNNs 为什么要用relu作为激活函数？
Dontla的博客
01-18 7289
relu激活函数的优势： （1）反向传播时，可以避免梯度消失。 （2）Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。 （3）相对于sigmoid激活函数，tanh激活函数，求导简单。采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对...
CNN中一些特殊环节的反向传播（池化层+relu）
Ema1997的博客
12-14 1288
转载自：https://blog.csdn.net/qq_21190081/article/details/72871704 在深度学习笔记（2）——卷积神经网络（Convolutional Neural Network）中我们介绍了CNN网络的前向传播，这一篇我们介绍CNN的反向传播，讲到反向传播的时候实质就是一大堆求梯度的数学公式，这些公式其实已经在深度学习笔记（1）——神经网络(neural network) 那篇博客中介绍过了，所以这里就不再介绍。 但是传统的神经网络无论是隐层还是激活函数的导数都
Numpy之matplotlib
gets_s的博客
08-07 791
Matplotlib是Python的绘图库，它与Numpy一起使用 【引例】 画出y=2*x+5的函数图像 import numpy as np from matplotlib import pyplot as plt #设置横坐标取值、确定函数表达式 x = np.arange(1, 11) y = 2 * x + 5 #添加标题、横坐标、纵坐标标签 plt.title("Matplotlib demo") plt.xlabel("x axis caption") plt.ylabel("y axis
卷积神经网络CNN-激励层
weixin_58420524的博客
02-07 1618
CNN卷积神经网络的激励层（激活层），包括ReLU、Sigmoid、Softmax、Tanh激活函数的详解和优缺点，以及不同激活函数之间的区别，梯度消失和梯度爆炸，饱和激活函数和非饱和激活函数，ReLU是线性还是非线性激活函数，为什么ReLU看似线性的激活函数能够增加非线性的表达能力。
CNN模型中 卷积层 RELU层 池化层 作用及顺序
热门推荐
zhr1030635594的博客
06-24 1万+
卷积层 Convolutional layer 卷积运算的目的是提取输入的不同特征 类似于CV中的滤波，通过滑动窗口来得到特征图像 非线性激活层 Relu f(x)=max(0,x) 非线性激活层即保留大于0的值，即保留特征比较好的值，将特征小于0的值舍去 池化层 pooling 池化（Pooling）：也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性 一般是 卷积层 -> relu -> 池化层 ...
（CNN）卷积神经网络（二）
多元思考力
12-04 1273
卷积计算层 1.1卷积的通俗理解-为什么参数会大大减少 1.2卷积的计算 ReLu激励层／ReLu layer 2.1 为什么要用激励层？ 2.2 sigmoid函数 2.3 tanh函数 2.4 RELU 2.5 Leaky-Relu 2.6 maxout 2.7 所有激活函数汇总 上一篇文章（（CNN）卷积神经网络（一））说了卷积神经网络的层级结构和数据输入层的数据具体是怎么处
为什么在CNNs中激活函数选用ReLU，而不用sigmoid或tanh函数？
benniaofei18的博客
04-09 7925
https://blog.csdn.net/shijing_0214/article/details/53143393第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。...
卷积神经网络 CNN 基础概念
m0_56051805的博客
12-23 1544
卷积神经网络 CNN 基础概念
使用relu作为CNN激活函数在计算机视觉方向上的好处
最新发布
07-16
在计算机视觉方向上，使用ReLU作为CNN（卷积神经网络）的激活函数有以下好处： 1. 加速收敛速度：ReLU的非线性特性可以帮助网络更快地收敛。相比于传统的激活函数如sigmoid和tanh，ReLU在正区间的斜率恒为1，避免了梯度消失的问题，从而加速了网络的训练速度。 2. 提高模型表达能力：ReLU的非线性特性可以更好地拟合复杂的函数关系，从而提高模型的表达能力。在计算机视觉任务中，图像往往具有复杂的非线性特征，ReLU可以更好地捕捉这些特征，从而提高模型的准确性。 3. 抑制不必要的响应：ReLU在输入为负数时输出为0，实现了稀疏激活性。这意味着一些神经元可以完全不被激活，从而抑制不必要的响应。在计算机视觉任务中，许多图像区域可能是背景或无关区域，ReLU可以帮助网络忽略这些区域，提高模型的鲁棒性和泛化能力。 4. 减少过拟合风险：ReLU的稀疏激活性有助于减少模型的参数数量，降低了过拟合的风险。过拟合是指模型在训练数据上表现很好，但在测试数据上表现较差的现象。通过使用ReLU作为激活函数，可以降低模型的复杂度，提高泛化能力，从而减少过拟合的问题。 综上所述，ReLU作为CNN的激活函数在计算机视觉方向上具有加速收敛速度、提高模型表达能力、抑制不必要的响应和减少过拟合风险等好处，因此被广泛应用于图像分类、目标检测、图像分割等计算机视觉任务中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值