sigmoid & ReLU 等激活函数总结

最新推荐文章于 2024-07-17 16:15:51 发布
最新推荐文章于 2024-07-17 16:15:51 发布
阅读量1.1k 收藏 1
点赞数 1
分类专栏： 动手学深度学习(计算机视觉篇) 文章标签： 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42864343/article/details/132155190
版权

sigmoid

在这里插入图片描述
在这里插入图片描述

ReLU

在这里插入图片描述
在这里插入图片描述

sigoid和ReLU对比

1.sigmoid有梯度消失问题：当sigmoid的输出非常接近0或者1时，区域的梯度几乎为0，而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化，它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。

computer_vision_chen
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1286
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
对算法的认识——逻辑回归
qq_38737545的博客
10-15 2330
逻辑回归：找出一条直线来分类数据 逻辑回归虽然名字叫回归，却是属于分类算法，是通过Sigmoid函数将线性函数的结果映射到Sigmoid函数中，预估事件出现的概率并分类。 Sigmoid是归一化的函数，可以把连续数值转化为0到1的范围，提供了一种将连续型的数据离散化为离散型数据的方法。因此，逻辑回归从直观上来说是画出了一条分类线。位于分类线一侧的数据，概率>0.5,属于分类A；位于分类线另一...
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 7万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
全网最清楚的---逻辑回归（Logistic Regression）
AI_dataloads的博客
09-10 2528
逻辑回归也称作logistic回归分析，是一种广义的线性回归分析模型，属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也可以解决多分类问题）。通过给定的n组数据（训练集）来训练模型，并在训练结束后对给定的一组或多组数据（测试集）进行。其中每一组数据都是由p 个指标构成。
神经网络中经常使用的激活函数--sigmoid函数
学无止境
06-08 2万+
神经网络中经常使用的激活函数–sigmoid函数σ(x) sigmoid函数（σ） sigmoid函数原型 sigmoid函数是机器学习中的一个比较常用的函数，其函数原型如下图所示： sigmoid函数的函数曲线以及其导数曲线如下图所示： 通过上图可以看出在趋于正无穷或负无穷时，sigmoid函数都趋近平滑状态。当x趋近负无穷时，y趋近于0；趋近于正无穷时，y趋近于1。由于sigmoid函数输出范围为（0，1），所以二分类的概率常常用使用这个函数。 sigmoid函数求导 Sigmoid函数的导数是其本
关于Sigmoid函数
竭尽全力的专栏
11-03 7017
1 Sigmoid函数的定义 Sigmoid函数是一个在生物学中常见的S型的函数，也称为S形生长曲线。 Sigmoid函数由下列公式定义: Sigmoid函数的图形如S曲线,如下图所示: 2 Sigmoid函数的性质 sigmoid函数是一个良好的阈值函数,连续，光滑,严格单调; 其导数如下: ， 可以节约计算时间. 3 Sigmoid函数的应用 在信
探索Sigmoid与ReLU激活函数：从数学原理到实践应用
创作高质量博文，分享知识，共同进步！
12-26 2673
本文将带您深入了解sigmoid和ReLU的奥秘，从工作原理到实现细节，再到在深度学习中的应用。通过本文的探讨，您将掌握激活函数的精髓，为您的神经网络设计和开发提供有力支持。
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
Keras 中Leaky ReLU等高级激活函数的用法
09-16
Keras中的激活函数不仅限于这些，还包括Softmax、Softplus、tanh、sigmoid、hard_sigmoid和linear等。例如，Softmax用于多分类任务，将神经元的输出归一化为概率分布；sigmoid和tanh在二分类问题中常见，它们分别...
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
本篇文章将详细讲解两种常见的激活函数——Sigmoid和Tanh，并通过Python代码演示如何分别绘制它们的图形以及如何将它们合在一起画在同一张图上。 Sigmoid函数，也称为Logistic函数，表达式为： \[ f(x) = \frac{1}{...
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为...sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
RNN与CNN：昔日辉煌与今日应用的深度透视
AI心易行者
07-17 258
更棒的是，其活跃的社区和详尽的手册，确保了你在技术海洋中的航行既高效又愉快。2017年，Transformers以自注意力机制打破了RNN的垄断，其并行计算的特性极大地提升了处理序列数据的效率，Google神经机器翻译系统（GNMT）的成功应用，便是最好的证明。紧随其后的BERT（2018年），凭借双向编码器的创新，以及强大的预训练与微调策略，使得机器对文本的理解上升到了新的高度。LeNet-5的诞生，标志着手写数字识别的新纪元，而这一技术的广泛应用，更是推动了图像分类、物体检测等领域的巨大进步。
推荐系统：从协同过滤到深度学习
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
07-15 526
从协同过滤到深度学习，推荐系统的技术不断演进和发展。协同过滤作为推荐系统的基础算法之一，在处理用户行为数据方面具有独特的优势；而深度学习则通过自动学习用户和物品的隐含特征以及处理大规模数据的能力，为推荐系统带来了更高的准确性和效率。未来，随着技术的不断进步和应用场景的不断拓展，推荐系统将在更多领域发挥重要作用，为用户提供更加个性化和精准的推荐服务。
深度学习程序环境配置
最新发布
Young_Zn_Cu
07-17 477
因为之前轻薄本没有显卡跑不起来，所以换了台电脑重新跑程序，故记录一下配置环境的步骤及常见错误。
深度学习快速通道：Keras核心特性与实战演练
AI心易行者
07-14 909
Keras以其简洁性、灵活性征服了众多深度学习爱好者，而结合如PlugLink这样的高效工具，则能进一步放大生产力，让从原型设计到生产部署的每一步都更加流畅。无论你是着手解决图像分类、文本生成还是其他复杂的机器学习问题，Keras加PlugLink的组合都是值得探索的强大武器。现在，不妨打开你的编辑器，开始构建下一个智能应用吧！通过上述指南，希望你对Keras有了更深层次的认识，并对如何借助PlugLink优化工作流程有了初步的概念。在深度学习的征途中，持续学习与实践，才是通往成功的不二法门。
负荷预测 | Matlab基于Transformer-LSTM多变量时间序列多步预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-14 587
负荷预测 | Matlab基于Transformer-LSTM多变量时间序列多步预测
【深度学习】InternVL2-8B，图转文，docker部署
q742971636的博客
07-17 120
执行这个代码可以开启一个fastapi接口，7860端口会被docker映射到7895.InternVL2-26B应该更好，但显存没那么大，只能跑InternVL2-8B了。
激活函数sigmoid和ReLU函数有什么优缺点
05-25
Sigmoid函数和ReLU函数都是常用的激活函数，它们各自具有一些优点和缺点。 Sigmoid函数的优点： 1. 输出值在0~1之间，可以将输出解释为概率，适用于二分类问题。 2. 具有平滑的曲线，可以对输入进行平滑的映射，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

computer_vision_chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值