深度学习笔记_各种激活函数总结对比

最新推荐文章于 2022-10-07 17:45:46 发布
最新推荐文章于 2022-10-07 17:45:46 发布
阅读量1.9k 收藏 51
点赞数 3
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shyjhyp11/article/details/109279411
版权
本文介绍了六种常见的激活函数：Sigmoid、tanh、ReLU、LeakyReLU、ELU 和 Maxout，并分享了实践经验。建议多使用 ReLU，并适当调整学习率；也可以考虑使用 LeakyReLU、Maxout 或 ELU；尝试使用 tanh 但不要期望过高；避免使用 Sigmoid。
摘要由CSDN通过智能技术生成
惊鸿一博
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习-激活函数比较
weixin_43464554的博客
03-27 230
激活函数类别 激活函数比较 sigmoid 函数 a=σ(z)=11+e−za = \sigma(z)= \frac{1}{1+e^{-z}}a=σ(z)=1+e−z1​ tanh 函数 a=tanh(z)=ez−e−ze−z+eza = tanh(z)= \frac{e^{z}-e^{-z}}{e^{-z}+e^{z}}a=tanh(z)=e−z+ezez−e−z​ Relu 函数 a=max{0,z}a = max\{0,z\}a=max{0,z} Leaky Relu yi={xi if&
深度学习中常用的激活函数详解及对比分析（sigmoid）
独行侠
11-02 5653
Sigmoid函数: 特性： 1.当变量值远离中心轴时，梯度几乎为0，在神经网络的反向传播过程中，链式求导导致经过sigmoid函数之后的梯度 很小，权重值更新较慢 2.计算机执行指数运算较慢 3.sigmoid在压缩数据幅度方面有优势，在深度网络中，在前向传播中，sigmoid可以保证数据幅度在[0,1]内，这样数据幅度稳住了，不会出现数据扩散，不会有太大的失误。 4.定义域...
深度学习—常见激活函数对比
dbsggal90047018的博客
05-12 252
1、为什么使用激活函数？ 　　如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。　　如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 2、都有什么？ 　　（1）sigmoid函数 　　公式： 　　 　　曲线： 　　 　　也...
深度学习激活函数对比
m0_45290027的博客
07-08 452
输入是非常小的负数，输出为0； 输入时非常大的正数，输出为1； 相当于对输出进行了归一化不足： 1）深层神经网络在更新参数时，需要从输出层到输入层逐层进行链式求导。但是sigmoid的导数的输出时0-0.25，会造成梯度消失，使得参数无法继续更新。 2）希望输入每层神经网络的特征是以0为均值的小数值，但是sigmoid处理后的数据都是整数会使收敛变慢。 3）sigmoid运算存在幂运算，计算复杂度大、训练时间长。 优势：输出值为0均值 不足：依旧存在梯度消失和幂运算问题 优势：在正区间内，解决了梯度消失问题
深度学习必备小知识之激活函数的区别
weixin_43984636的博客
05-09 1716
自从1943年，人工神经元的提出，就已经对激活函数有了概念。 而随着1957年，在单层感知机的提出中，激活函数还是简单的线性函数，较为单一，且只能解决简单的线性问题，不能分类中的异或问题，由此可见，线性函数存在很大的局限性。 而目前常用的激活函数都有以下基本性质： 非线性：能解决了线性函数的局限性，能更好的逼近实际的真值，获取更好的模型。 可微性：目前在训练网络模型中，基于梯度的模型最优化方法都要求激活函数是可导的。 单调性：单调函数能够保证模型的简单，且能在一定程度上，更快速地使模型收敛。
深度学习之激活函数
斯人若彩虹，遇上方知有！
05-29 1118
今天主要是来总结一下深度学习的激活函数： 1、什么是激活函数呢？ 2、激活函数的作用是什么呢？ 3、常用的激活函数有哪些？ 4、如何选择激活函数？ 主要围绕上面几个问题展开讲述！ 线性模型在处理非线性问题时往往无从下手，这时引入激活函数来解决线性不可分问题！激活函数往往存在于输入层和输出层之间，目的是给神经网络一些非线性因数，使得神经网络能够解决更加复杂的问题，同时增强了神经网络的表达...
深度学习中激活函数的选择
浅梦的学习笔记
10-01 3111
本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.
吴恩达深度学习笔记_公式推导.zip
06-03
《吴恩达深度学习笔记_公式推导》是针对吴恩达教授的深度学习课程的一份详尽学习资料，旨在帮助学习者深入理解和掌握深度学习的核心概念与算法。吴恩达，作为全球知名的AI专家，他的课程以其清晰易懂、实践性强而受...
深度学习笔记-激活函数
weixin_73709172的博客
10-07 641
Sigmoid 是常用的非线性的激活函数，它的数学形式如下：Sigmoid的几何图像如下它能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。
ufldl.zh.zip_UFLDL_斯坦福-Andrew_深度学习 视频_深度学习视频_视频深度学习
09-24
“ufldl.zh.pdf”可能是课程的讲义或笔记，它将系统地梳理这些概念，帮助学习者构建深度学习的知识框架。通过阅读这份文档，你可以跟随Andrew Ng的讲解，逐步理解并掌握深度学习的理论与实践。 深度学习是一个不断...
深度学习笔记_tensorflow2.0_激活函数（一）
qq_41832686的博客
02-17 301
常见的激活函数及对比分析
哎呀牙刷子的博客
11-02 815
激活函数的概念 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。以一个简单的全连接神经网络为例，上一层输出的结果会乘以权重后输入到这一层的每个节点中，而这一层的每个节点会将输入经过激活函数后向下传递。 激活函数对于人工神经网络理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如果没有激活函数，则神经网络就是很..
【深度学习】之激活函数篇[Sigmoid、tanh、ReLU、Leaky ReLU、Mish、Hardswish、SiLU]附绘图Python代码。
热门推荐
weixin_46716951的博客
04-20 1万+
激活函数的作用 为卷积神经网络提供非线性 1、Sigmoid激活函数 Sigmoid激活函数是常用的连续、平滑的“s”型激活函数，其数学定义比较简单，如公式1所示： 简单来说，Sigmoid函数以实数输入映射到（0,1）区间，用来做二分类。对于一个极大的负值输入，它输出的值接近于0；对于一个极大的正值输入，它输出的值接近于1。 Sigmoid激活函数曾一度被不同的网络使用，从Sigmoid及其导数曲线图可知，当输入的值非常小或者非常大时，其Sigmoid输出的值接近0或者1，当Sigmoid函数的前一层
常用激活函数比较
aliceyangxi1987的博客
05-01 7321
本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用
常用的激活函数对比
黄飞的博客专栏
03-19 9863
神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。因此，激活函数是深度神经网络中不可或缺的部分。在ICML2016的一篇
【学习笔记】Sigmoid, Relu, Swish, Gelus, Maxout等常用激活函数的分析学习
JinyuZ1996的博客
08-23 1423
深度学习激活常用函数比较分析 　　本文主要针对邱锡鹏老师《NNDL》中3.1节中提及的集中激活函数做了一下对比记录，并不较少激活函数本身，只是从发展和优缺点的角度去评价他们。并尝试在他们当中找出可改进的角度和变化趋势。 ...
pytorch深度学习基础（一）——激活函数的介绍与对比
艾醒的博客
03-11 3210
Python深度学习基础：激活函数的介绍以及图像的对比展示
常用激活函数图像
My_
05-31 9635
激励函数有很多, 不过我们平时要用到的就这几个. relu, sigmoid, tanh, softplus. import torch import torch.nn.functional as F # 激励函数都在这 from torch.autograd import Variable # 做一些假数据来观看图像 x = torch.linspace(-5, 5, 200) #...
极智AI笔记：手写C++实现softmax激活函数
资源摘要信息:"0083-极智AI-解读C++手写softmax激活函数-个人笔记" 在人工智能领域，激活函数是神经网络中不可或缺的一部分，它负责为神经元引入非线性因素，从而帮助网络学习和模拟复杂的函数映射。Softmax函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

惊鸿一博

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值