深度学习基础-ReLU和Sigmoid对比

最新推荐文章于 2024-10-05 19:36:33 发布
最新推荐文章于 2024-10-05 19:36:33 发布
阅读量9.7k 收藏 26
点赞数 10
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010848594/article/details/107403174
版权

ReLU

在这里插入图片描述
大于0则原样输出，小于0，截断

Sigmoid函数
在这里插入图片描述
在这里插入图片描述

ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU
效果上：
1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会
2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生
性能上：
采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多

那么Sigmoid存在的意义呢？
对于二元分类问题，输出层的激活函数只能是sigmoid

BUAA_小胡
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
激活函数relu、leaky-relu、elu、selu、serlu比较
littlelanlan的博客
08-05 1万+
1.ReLU(Rectified Linear Unit) 函数形式： ReLU(x)={xx ≥ 00otherwise ReLU(x)=\left\{ \begin{array}{ll} x & \textrm{x $\ge$ 0}\\ 0 & \textrm{otherwise}\\ \end{array} \right. ReLU(x)=...
激活函数比较总结（relu、tanh、sigmoid、softmax)
kellen_f的博客
08-13 2644
比较好的解释 其他链接： 链接1 https://blog.csdn.net/piaodexin/article/details/77162766 (http://www.datalearner.com/blog/1051508750742453)
神经网络学习笔记：relu & sigmoid 激活函数对比
zhangzc12409的博客
08-22 1230
激活函数 Rectified Linear Unit(ReLU) - 用于隐层神经元输出 Sigmoid - 用于隐层神经元输出 Softmax - 用于多分类神经网络输出 Linear - 用于回归神经网络输出（或二分类问题 Softmax激活函数只用于多于一个输出的神经元，它保证所以的输出神经元之和为1.0，所以一般输出的是小于1的概率值，...
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 1317
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
一文读懂Sigmoid和Relu的区别
yuxingwu9872的博客
04-08 1418
综上，Sigmoid和Relu各有优缺点，选择哪种激活函数要根据具体的问题和数据来决定。一般来说，Relu更适合深层网络的隐藏层，而Sigmoid更适合二分类问题的输出层。
Sigmoid和Relu激活函数的对比
bl128ve900的博客
07-10 1万+
深度学习笔记（4）——Sigmoid和Relu激活函数的对比https://blog.csdn.net/qq_21190081/article/details/64127103 Relu是一个非常优秀的激活哈数，相比较于传统的Sigmoid函数，有三个作用： 1. 防止梯度弥散 2. 稀疏激活性 3. 加快计算 首先我们看下sigmoid和relu的曲线 然后可以得到sigm...
relu与sigmod的比较
shinecjj的博客
09-02 3949
relu的优势： 第一，防止梯度弥散，sigmod函数只有在0附近有较好的激活性，接近正负饱和区时，变换太缓慢，导数趋于0，造成梯度弥散，而relu函数在大于0的部分梯度为常数,所以不会产生梯度弥散现象； 第二，稀疏性，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，缓解了过拟合问题的发生，relu函数在负半区的导数为0 ,所以一旦神经元激活值进入负半区,那么梯度就会为0,也就是...
机器学习-sigmoid函数和relu函数-个人解读
weixin_43327597的博客
07-10 4714
而且根据输入激活函数随机性的原理我们可以知道，经过这个激活函数处理，有一般的概率输出为0，由反向传播的原理知道，经过激活函数输出为0，那么这激活函数在这次样本输入中其梯度就为0，也就是不会被更新，且该神经元的输出也不会对最终结果再有影响。第二，就是relu函数的真正精髓，每次训练会随机的让让很大一部分神经元失灵，只更新部分神经元，每次更新的部分神经元是随机的，在这种情况下，每次被更新的神经元组合是很复杂的，相同性很低，那么就可以有效的让神经元独立学习，孤军奋战，不那么被其他神经元影响，做出自己的有利贡献。
选择CNN激活函数：ReLU、Sigmoid还是Tanh？优缺点对比解读
在深度学习中，激活函数扮演着至关重要的角色，它们能够引入非线性因素，解决梯度消失问题，并影响模型的性能表现。针对CNN（Convolutional Neural Network），我们需要深入了解常用的激活函数，包括ReLU、Sigmoid和...
人工智能-深度学习-基于深度学习的油画分类研究.pdf
06-27
这些基础模型为深度学习的发展奠定了基石，它们在解决简单线性可分问题和复杂非线性问题时各有优劣。 接着，深入探讨了深度学习模型，特别是卷积神经网络（CNN）。CNN因其在处理图像数据时的强大能力而备受青睐。...
深度学习基础：从神经网络到ReLU激活函数
"这是一份关于深度学习基础的在线教育课件，由上海交通大学博士叶梓主讲，主要内容包括深度学习与传统神经网络的区别、目标...这份深度学习基础课件涵盖了深度学习的关键概念和技术，对于初学者来说是很好的学习资源。
【机器学习之深度学习】Sigmoid和ReLU的联系与区别、ReLU如何解决死亡问题以及Tanh激活函数的基本概念
ya的博客
08-10 1462
Sigmoid和ReLU各有优缺点，选择哪种激活函数取决于具体的应用场景和需求对于深层网络，ReLU或其变体通常是更合适的选择，因为它们更能应对深层网络训练中的挑战。但是，最终的选择还应该基于具体的应用场景和数据集，有时也可能需要通过实验来确定最佳的激活函数通过这些方法，可以在一定程度上减轻或解决ReLU的死亡问题，从而提高神经网络训练的稳定性和性能在选择激活函数时，通常需要根据具体问题和网络架构来决定ReLU由于其简单性和在许多任务中的有效性，通常是最常用的选择，尤其是在深层网络中
relu激活函数对比sigmoid的优势
weixin_49565223的博客
02-27 4520
1. 为什么要激活函数 原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的1，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？ ** 变化的非线性** 激活函数相较于跃迁函数，其平滑性不同,激活函数是一条平滑的曲线。输出随着输入发生连续性变化。其平滑性的特性对神经网络的学习有重要的意义 由于Sigmoid函数的输出不是零中心的（
ReLU函数 Vs Sigmoid 函数——XOR问题究竟用那个好
zhenjiteng的博客
10-09 2258
咱们在这来探究一个问题，这个问题我一开始以为是书错了(但是显然不可能，神书怎么可能错呢，呜呜。)我写的不太好，老师和各位大佬帮我批评指正，是有关输出函数的问题。问题先看下边的图。
ReLU 和sigmoid 函数对比
weixin_34315189的博客
07-24 325
详细对比请查看：http://www.zhihu.com/question/29021768/answer/43517930 . 激活函数的作用：是为了增加神经网络模型的非线性。否则你想想，没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。所以你没有非线性结构的话，根本就算不上什么神经网络。2. 为什么ReLU效果好：重点关注这章6.6节：Piecewise L...
Sigmoid型函数、ReLU函数
CarpeDiem
01-01 3730
激活函数是全连接神经网络中的一个重要部分，缺少了激活函数，全连接神经网络将退化为线性分类器。本篇主要介绍最常用的Sigmod型函数和Relu函数，了解这些函数的特性，也更有利于对相应的模型选择合适的激活函数。
一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
null
05-30 8191
深度学习算法之前的机器学习算法，并不需要对训练数据作概率统计上的假设；本文将覆盖问题1和问题2，并分析如何采用合适的激活函数解决问题；最后提出一些普适性的选择激活函数的建议。至于问题3，则更多的与Batch Normalization相关。
深度学习笔记（4）——Sigmoid和Relu激活函数的对比
热门推荐
迷川浩浩的博客
03-20 2万+
Relu是一个非常优秀的激活哈数，相比较于传统的Sigmoid函数，有三个作用： 1. 防止梯度弥散 2. 稀疏激活性 3. 加快计算 首先我们看下sigmoid和relu的曲线 然后可以得到sigmoid的导数 以及relu的导数 结论就是sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值