第21节：深度学习基础-激活函数比较（ReLU, Sigmoid, Tanh）

于 2025-05-05 08:00:00 发布
阅读量1.4k 收藏 27
点赞数 18
分类专栏： 从零开始学习深度学习图像分类、实战(pytorch) 文章标签： 深度学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82355416/article/details/147702874
版权

1. 引言

在深度学习领域，激活函数是神经网络中至关重要的组成部分

它决定了神经元是否应该被激活以及如何将输入信号转换为输出信号

激活函数为神经网络引入了非线性因素，使其能够学习并执行复杂的任务

没有激活函数，无论神经网络有多少层，都只能表示线性变换，极大地限制了网络的表达能力

本文将深入探讨三种最常用的激活函数：ReLU（Rectified Linear Unit）、Sigmoid和Tanh（双曲正切函数），从数学定义、特性、优缺点到实际应用场景进行全面比较。

2. 激活函数概述

2.1 激活函数的作用

激活函数在神经网络中扮演着多重重要角色：

  1. 引入非线性：使神经网络能够学习和表示复杂的数据模式

  2. 决定神经元输出：基于输入决定神经元是否应该被激活（输出非零值）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 2173
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
AI 内容分享(十八)：秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
之乎者也·的博客
01-20 4677
Softmax是一种常用的激活函数，主要用于多分类问题中，可以将输入的神经元转化为概率分布。ReLU的输出范围是[0, +∞)，而输入值为负数时输出为0，这导致ReLU输出的分布不对称，限制了生成的多样性。Leaky ReLU在输入小于或等于0时，输出一个较小的斜率，避免了完全的“死亡神经元”问题。当输入值小于或等于0时，ReLU的输出为0，导致该神经元失效，这种现象称为“死亡神经元”。与Leaky ReLU不同的是，PReLU的斜率不是固定的，而是可以根据数据进行学习优化。
ReLU 和sigmoid 函数对比
weixin_34315189的博客
07-24 338
详细对比请查看：http://www.zhihu.com/question/29021768/answer/43517930 . 激活函数的作用：是为了增加神经网络模型的非线性。否则你想想，没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。所以你没有非线性结构的话，根本就算不上什么神经网络。2. 为什么ReLU效果好：重点关注这章6.6节：Piecewise L...
【深度学习pytorch-26】reLU函数
最新发布
m0_69378371的博客
02-15 990
ReLU（Rectified Linear Unit，修正线性单元）是当前深度学习中最常用的激活函数之一。它的主要优点是计算简单且能够有效缓解梯度消失问题，尤其是在深层网络中。因此，ReLU 已成为大多数神经网络隐藏层的标准激活函数。ReLU 激活函数是一种简单且高效的非线性激活函数，广泛应用于神经网络的隐藏层。它的优点是计算简单，能够有效避免梯度消失问题，适合深度网络的训练。缺点是存在“死神经元”问题，负输入会导致神经元不再更新。为了解决这一问题，提出了 Leaky ReLU、PReLU 等变种。
Sigmoid型函数、ReLU函数
CarpeDiem
01-01 5522
激活函数是全连接神经网络中的一个重要部分，缺少了激活函数，全连接神经网络将退化为线性分类器。本篇主要介绍最常用的Sigmod型函数和Relu函数，了解这些函数的特性，也更有利于对相应的模型选择合适的激活函数。
探索Sigmoid与ReLU激活函数：从数学原理到实践应用
创作高质量博文，分享知识，共同进步！
12-26 3164
本文将带您深入了解sigmoid和ReLU的奥秘，从工作原理到实现细节，再到在深度学习中的应用。通过本文的探讨，您将掌握激活函数的精髓，为您的神经网络设计和开发提供有力支持。
一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
null
05-30 1万+
深度学习算法之前的机器学习算法，并不需要对训练数据作概率统计上的假设；本文将覆盖问题1和问题2，并分析如何采用合适的激活函数解决问题；最后提出一些普适性的选择激活函数的建议。至于问题3，则更多的与Batch Normalization相关。
深入理解 ReLU 激活函数及其在深度学习中的应用【激活函数、Sigmoid、Tanh】
qq_22841387的博客
08-04 2186
虽然 ReLU 在很多应用中表现良好，但它也有一些缺点，如“死亡 ReLU”问题（一些神经元在训练过程中可能永远不会被激活，即输出一直为零）。与其他需要复杂数学运算的激活函数相比，ReLU 的实现更加高效，特别适合大型神经网络的训练。这种特性导致了所谓的“稀疏激活”，即在某些输入条件下，网络中的很多神经元会输出 0。这意味着如果输入的数据大部分或全部是负值，ReLU 的输出将全部为 0，这会导致信息丢失并使模型无法学习。：ReLU 激活函数的计算非常简单，只需要比较输入值和零的大小，然后取较大值。
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数...
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 10万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
【机器学习之深度学习】Sigmoid和ReLU的联系与区别、ReLU如何解决死亡问题以及Tanh激活函数的基本概念
ya的博客
08-10 2468
Sigmoid和ReLU各有优缺点，选择哪种激活函数取决于具体的应用场景和需求对于深层网络，ReLU或其变体通常是更合适的选择，因为它们更能应对深层网络训练中的挑战。但是，最终的选择还应该基于具体的应用场景和数据集，有时也可能需要通过实验来确定最佳的激活函数通过这些方法，可以在一定程度上减轻或解决ReLU的死亡问题，从而提高神经网络训练的稳定性和性能在选择激活函数时，通常需要根据具体问题和网络架构来决定ReLU由于其简单性和在许多任务中的有效性，通常是最常用的选择，尤其是在深层网络中
ReLU函数 Vs Sigmoid 函数——XOR问题究竟用那个好
zhenjiteng的博客
10-09 2371
咱们在这来探究一个问题，这个问题我一开始以为是书错了(但是显然不可能，神书怎么可能错呢，呜呜。)我写的不太好，老师和各位大佬帮我批评指正，是有关输出函数的问题。问题先看下边的图。
机器学习-sigmoid函数和relu函数-个人解读
weixin_43327597的博客
07-10 5104
而且根据输入激活函数随机性的原理我们可以知道，经过这个激活函数处理，有一般的概率输出为0，由反向传播的原理知道，经过激活函数输出为0，那么这激活函数在这次样本输入中其梯度就为0，也就是不会被更新，且该神经元的输出也不会对最终结果再有影响。第二，就是relu函数的真正精髓，每次训练会随机的让让很大一部分神经元失灵，只更新部分神经元，每次更新的部分神经元是随机的，在这种情况下，每次被更新的神经元组合是很复杂的，相同性很低，那么就可以有效的让神经元独立学习，孤军奋战，不那么被其他神经元影响，做出自己的有利贡献。
深度学习基础-ReLU和Sigmoid对比
u010848594的博客
07-17 9946
ReLU 大于0则原样输出，小于0，截断 Sigmoid函数 ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU 效果上： 1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会 2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生 性能上： 采用
激活函数- relu vs sigmoid
子燕若水的博客
02-15 1876
数据流经过sigmoid后，会发生明显的衰减。 假设前面对w做一个比较大的变化，经过sigmoid之后会变成一个很小的变化。这个变化一直向后衰减传递，一直到。此时会发现前面层的明显小于后面的。 如果用梯度下降法，后面的参数一定比前面的参数迭代的更快，所以收敛的更快。造成了后面参数几乎训练完毕，前面的参数依然接近随机数的糟糕训练结果。 所以ML界寻找替代 sigmoid的激活函数，如relu。 relu函数在大于0的部分梯度为常数，relu函数在小于0时的导数为0 ，...
一文读懂Sigmoid和Relu的区别
yuxingwu9872的博客
04-08 2275
综上，Sigmoid和Relu各有优缺点，选择哪种激活函数要根据具体的问题和数据来决定。一般来说，Relu更适合深层网络的隐藏层，而Sigmoid更适合二分类问题的输出层。
relu激活函数对比sigmoid的优势
weixin_49565223的博客
02-27 4658
1. 为什么要激活函数 原理上来说，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数，即 y= f(x)。拟合效果的好坏取决于数据质量及模型的结构，像逻辑回归、感知机等线性模型的拟合能力是有限的1，连xor函数都拟合不了，那神经网络模型结构中提升拟合能力的关键是什么呢？ ** 变化的非线性** 激活函数相较于跃迁函数，其平滑性不同,激活函数是一条平滑的曲线。输出随着输入发生连续性变化。其平滑性的特性对神经网络的学习有重要的意义 由于Sigmoid函数的输出不是零中心的（
【激活函数】sigmoid, tanh,relu理解
David Xiao
06-09 1934
三个激活函数图像如下： 如果你的函数值区和定义域都是正值，那么用tanh和sigmoid都可以达到比较好的效果，如果函数数值区和定义域有一个为负数(例如y=x^2, x在(-0.5 0.5))那么必须使用tanh才能达到好的效果。综上：曲线模型最好选择tanh函数。 relu常用于分类、聚类，因为类别都是正值标签例如001,010,100等One-hot编码，因此relu非0即1的选择最好。 ...
深度学习之激活函数——ReLU
m0_61787307的博客
05-14 4030
整流线性单元(ReLU)，全称Rectified linear unit，是现代神经网络中最常用的激活函数，大多数前馈神经网络都默认使用该激活函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点我头像干啥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值