【深度学习技术】卷积神经网络常用激活函数总结

最新推荐文章于 2024-06-11 18:19:31 发布
置顶 最新推荐文章于 2024-06-11 18:19:31 发布
阅读量1.5w 收藏 28
点赞数 9
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hduxiejun/article/details/70815620
版权

本文记录了神经网络中激活函数的学习过程，欢迎学习交流。

神经网络中如果不加入激活函数，其一定程度可以看成线性表达，最后的表达能力不好，如果加入一些非线性的激活函数，整个网络中就引入了非线性部分，增加了网络的表达能力。目前比较流行的激活函数主要分为以下7种：

这里写图片描述

1.sigmoid

这里写图片描述

这里写图片描述

2.tanh

这里写图片描述

3.ReLu

这里写图片描述

4.Leaky ReLu

这里写图片描述

5.PReLu

这里写图片描述

6.RReLu

这里写图片描述

7 Maxout

这里写图片描述

8 SELU

总结

是ELU的改进版本，

参考文献：
[ReLu]:Rectifier Nonlinearities Improve Neural Network Acoustic Models
[PRelu]:Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification

CrazyVertigo
关注
  • 9
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络和深度学习简史（四）
neujs的博客
02-07 2842
“问问机器学习从业者，究竟是什么还在维持着奄奄一息的神经网络？你可能会听到以下三个人名中的一个：Geoffrey Hinton，加拿大的Yoshua Bengio，或是Facebook的Yann LeCun。” 一、深度学习计划         当你想要发动一场革命，你就要从阴谋开始。随着支持向量机（SVM）的成功以及反向传播的失败，神经网络的研究在21世纪迎来了黑暗时期。Le
深度神经网络（DNN）：卷积神经网络（CNN）之激活函数大全
Xiao_Bai_Ke的博客
02-15 1351
卷积神经网络中激活函数，理论上可以是线性函数：例 但是在模型中一般选用非线性的激活函数。 (1)sigmoid函数： (2)双曲正切函数： (3)硬限幅函数 (4)斜面函数 （5）修正线性单元函数（ReLU） （6）渗漏修正线性单元（LReLU）{a属于(0,1)，若a随机生成则为PReLU} （7）参数修正线性单元（PReLU）{a<=1,为可调参数}...
使用不同卷积神经网络和深度神经网络以及不同激活函数组合的图像分类和性能分析架构-研究论文
06-10
图像分类是一个复杂的计算机视觉问题。 最近，人们一直在努力使用卷积和深度神经网络架构 (CNNDNN)。 有非常深的神经网络架构可用于图像分类。 这些网络需要几天甚至几周的时间来学习网络。 如果要以各种方式对其进行测试以找到有效的架构，那将是非常耗时的。 它产生了具有很少层的浅层神经网络。 由于这个事实，这种类型的神经网络架构已经在这项研究工作中实现。 最近，通过引入几种类型的卷积和不同类型的激活函数，对 CNN 进行了其他一些改进。 浅层网络可以测试这些不同类型的网络并找到有效的网络架构，因为在此类网络架构中学习的时间较少。 在这项研究中，在具有 15 类图像的图像集上分析了五种不同的 CNN-DNN 架构，并比较了它们的结果。 体系结构因所拍摄的图像大小、不同数量的过滤器、不同的子采样过程和不同的激活函数而异。 发现具有 Relu 和 Hyperbolic 激活函数组合的架构优于其他架构和其他激活函数组合。
支持向量机（SVM）
最新发布
m0_73598472的博客
06-11 1767
支持向量机（Support Vector Machine，简称SVM）是一种用于分类和回归分析的监督学习模型。SVM通过在特征空间中寻找一个最佳的分离超平面，以最大化类间间隔，实现对数据的分类。
【GAN ZOO阅读系列】UNSUPERVISED REPRESENTATION LEARNING WITH DCGAN 使用深度卷积生成对抗网络的无监督的表示学习
hyczkg的博客
09-23 1万+
Alec Radford &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; Luke Metz indico Research Boston, MA {alec,luke}@indico.io Soumith Chintala Facebook AI Research New York, NY soumith@fb.com 引用请注明出处 原文链接https://arxiv.org/abs/1511.06434 参考翻译https:/...
深度学习与卷积神经网络
02-25
本文来自于个人微博，本文通过几种比较流行的卷积神经网络的结构图，简单的介绍了卷积审计网络的定义。简单来说，卷积(或内积)就是一种先把对应位置相乘然后再把结果相加的运算。(具体含义或者数学公式可以查阅相关...
深度学习之卷积神经网络经典模型.docx
04-16
在深度学习领域，卷积神经网络（CNN）是处理图像识别和计算机视觉任务的核心技术。本文将深入探讨两个经典的CNN模型：LeNet-5和AlexNet。 LeNet-5是1998年由Yann LeCun教授提出的，主要用于手写数字识别。该模型由7...
卷积神经网络中激活函数的一种改进.pdf
09-25
卷积神经网络中激活函数的一种改进 卷积神经网络是深度学习中模仿人脑神经网络处理信息的一种学习网络，可以用于大型图像处理。在生物神经网络中，神经元通过树突接收来自其他神经元的信号，各树突接收信号的权重...
基于LReLU-Softplus激活函数的深度卷积神经网络.pdf
09-25
本文主要研究了深度卷积神经网络中激活函数的选择问题，提出了基于LReLU-Softplus激活函数的深度卷积神经网络模型，并对其进行了实验验证。实验结果表明，基于LReLU-Softplus激活函数的深度卷积神经网络模型相比于...
卷积神经网络中的激活函数sigmoid、tanh、relu
热门推荐
chaiky的博客
05-08 1万+
目录 1、什么是激活函数？ 2、为什么要在卷积层后面添加激活函数? 3、激活函数的性质 3.1 sigmoid 激活函数 3.2 tanh 激活函数 3.3 ReLU 激活函数 4、如何选择激活函数？ 5、神经网络中的隐藏层是什么？ 1、什么是激活函数？ 一个神经元会同时接收多个信号，然后将这些信号乘以一定权重求和，再用函数处理后再输出新的信号。对神经元的输入进行处理，以获得输出的函数称为激活函数。 2、为什么要在卷积层后面添加激活函数? 如果只有线性变换，那无论多少层神经元，.
【卷积神经网络】12、激活函数 | Tanh / Sigmoid / ReLU / Leaky ReLU / ELU / SiLU / Mish
呆呆的猫的博客
03-08 5061
本文主要介绍神经网络中常用的激活函数
卷积神经网络：常见的激活函数
邦戈邦戈栗子的博客
11-30 5394
注意非线性函数部分（也称为激活函数），是神经网络中很重要的一个部分，但是即使我们把非线性函数部分去掉，直接相乘也可以得到类别得分，但是这样就少了一些扰动（wiggle），影响泛化性能等。   Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax - 用于多分类神经网络输出 Linear - 用于回归神经网络输出（或...
神经网络和深度学习简史（四）：深度学习终迎伟大复兴
qq_29133371的博客
06-23 1859
我们终于来到简史的最后一部分。这一部分，我们会来到故事的尾声并一睹神经网络如何在上世纪九十年代末摆脱颓势并找回自己，也会看到自此以后它获得的惊人先进成果。 「试问机器学习领域的任何一人，是什么让神经网络研究进行下来，对方很可能提及这几个名字中的一个或全部: Geoffrey Hinton，加拿大同事Yoshua Bengio 以及脸书和纽约大学的Yann LeCun。」 深度学习的密谋 当你
基于SincNet的原始波形说话人识别
凌逆战的博客
10-24 1968
speaker recognition from raw waveform with SincNet Mirco Ravanelli, Yoshua Bengio 　　作为一种可行的替代i-vector的说话人识别方法，深度学习正日益受到欢迎。利用卷积神经网络(CNNs)直接对原始语音样本进行处理，取得了良好的效果。而不是使用标准的手工制作的功能，后一种CNNs从波形中学习低电平的语...
卷积神经网络激活函数层知识点
11-25 269
在神经网络中，这意味着激活的矩阵含有许多0。这能提升时间和空间复杂度方面的效率，常数值所需空间更少，计算成本也更低。ELU激活函数解决了ReLU的一些问题，同时也保留了一些好的方面。由Tanh和Sigmoid的导数也可以看出Tanh导数更陡，收敛速度比Sigmoid快。激活函数可以引入非线性因素，提升网络的学习表达能力。小于0的时候也不会导致反向传播时的梯度消失现象。可以把SoftPlus看作是ReLU的平滑。值，其常见的取值是在0.1到0.3之间。，因此ELU的计算成本比ReLU高。
卷积神经网络（CNN）
qq_74722169的博客
11-12 549
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种具有局部连接、权值共享等特点的深层前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题，比如图像分类、目标检测、图像分割等各种视觉任务中都有显著的提升效果，是目前应用最广泛的模型之一。卷积神经网络具有表征学习。
卷积神经网络(CNN)介绍04-激活函数
lmx_smile的博客
12-01 1313
激活函数 为什么要用激活函数？ 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 常用的激活函数 Sigmoid：用于二分类神经网络输出 sigmoid函数也叫 Logistic 函数，用于隐层神...
卷积神经网络—》激活函数和损失函数（个人学习笔记）
Ye030111的博客
04-03 704
其中，sigmoid和tanh函数是S形函数，它们在输入接近0的时候，输出接近于线性变换，但是当输入变得很大或很小时，激活函数的取值就会趋于0或1，导致梯度消失，使神经元无法更新权重，从而影响模型性能。ReLU函数的梯度是常数1，不存在梯度消失的情况，且具有计算速度快的优势，因此在深度学习中广泛应用。在神经网络中，我们通常会把多个神经元通过一定的方式连接起来，形成不同层数的神经网络，每个神经元不仅仅要进行加权求和，还要将其结果经过一个非线性变换，从而引入非线性性质，增加神经网络的表达能力。
深度学习：卷积神经网络详解
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，特别适用于图像处理和计算机视觉任务。由复旦大学的邱锡鹏教授进行讲解，该资源深入浅出地介绍了CNN的基础概念、结构以及在实际中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值