ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】

已于 2024-06-20 18:14:27 修改
阅读量3.9k 收藏 29
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 人脸相关前沿研究从入门到实战 扩散模型CV与NLP从入门到项目实战 cv与nlp深度学习实战项目【知识总结与代码】 文章标签： 算法 深度学习 ReLU 激活函数 pipeline
于 2022-11-27 17:35:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/128066220
这篇博客总结了深度学习中常用的激活函数，包括ReLU、Sigmoid、Tanh和softmax的优缺点。ReLU因其计算速度快、避免梯度消失而流行，但存在非对称性问题。Sigmoid和Tanh解决了Sigmoid的中心对称性，但梯度消失问题依然存在。softmax用于多分类问题，将输出转换为概率分布。文中还介绍了Leaky ReLU、PReLU和RReLU等修正版ReLU。最后提到了pipeline在深度学习模型实现中的重要作用。

激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机.
加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

一、ReLU（Rectified Linear Activation Function）

ReLU全名Rectified Linear Unit，意思是修正线性单元。Relu激活函数是常用的神经激活函数。
ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。
如图:在这里插入图片描述

在这里插入图片描述

1、优点

①ReLu具有稀疏性，可以使稀疏后的模型能够更好地挖

了解本专栏 订阅专栏 解锁全文
深度学习基础知识 deep learning
AI天才研究院
08-02 886
作者：禅与计算机程序设计艺术In recent years, deep learning has revolutionized the field of computer vision (CV) and natural language processing (NLP). Neural networks are capable of learning complex patterns from large amounts of data, which makes them very useful for t
大模型的基础概念知识
m0_70839135的博客
07-17 1591
一 大模型的组成部分 大模型通常指规模巨大、参数数量众多的机器学习模型，尤其在深度学习领域，这种模型一般由以下几个关键部分组成： 1.……四 怎么训练一个大模型 训练大模型，特别是那些拥有数亿乃至数十亿参数的深度学习模型，通常面临的主要挑战包括硬件资源限制（如内存、显存）、计算效率以及训练时间。……它是目前最广泛使用的深度学习框架之一，支持多种机器学习和深度学习模型的设计、训练、评估以及部署。
softmax函数介绍以及我在softmax函数求导中的疑惑
weixin_38415589的博客
07-04 1436
简要介绍softmax函数，以及softmax函数的导数，网上对于该函数求导过程的参考资料很多，但是对于softmax函数，为什么要分i=j和i≠j两种情况，我学习之初有些钻牛角尖，待我理解之后，我便有心按我的理解整理下来。
softmax（三）：softmax交叉熵的缺点
weixin_45209433的博客
05-12 1783
还是废话不说，直接上峰神的链接 Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。 softmax交叉熵为啥会有不管用的时候呢，原因很简单，因为它不是我们真正的目标函数，是目标函数smooth过来的，为了方便求导和计算，那么我们就要和真正的目标函
【深度学习|学习笔记】从背景→公式→性质→梯度→何时用哪一个→数值稳定性与常见坑方面描述sigmoid和softmax函数！
最新发布
2401_89898861的博客
09-14 739
【深度学习|学习笔记】从背景→公式→性质→梯度→何时用哪一个→数值稳定性与常见坑方面描述sigmoid和softmax函数！
详解softmax和sigmoid
CFH1021的博客
03-13 4051
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
深度学习笔记5：Softmax 回归 + 损失函数 + 图片分类数据集
qq_49407329的博客
08-18 1483
学习李沐老师的深度学习（pytorch），做的笔记5（视频9）~~~
神经网络激活函数--Sigmoid、Tanh、Relu、Softmax
qq_38480311的博客
01-18 4244
文主要总结了Sigmoid、Tanh、Relu、Softmax 四种函数；给出了函数的形式，优缺点和图像。
ReLU与softmax比较
浩瀚之水的专栏
09-04 898
**Softmax**：通常用于多分类任务的输出层，将输出值归一化成概率分布，每个类别的概率和为1，使得输出具有明确的概率解释[^1^][^3^][^5^]。- **Softmax**：需要对每个输入执行指数运算，然后进行归一化，这使得计算过程比ReLU更为复杂和计算密集[^3^][^5^]。- **Softmax**：在多分类问题中仍然是首选激活函数，尤其在需要输出概率分布的场景中具有不可替代的作用[^1^][^3^]。- **ReLU**：不包含可学习的参数，仅基于固定算法进行处理[^5^]。
【AI与机器学习起步】：第二周计划中的基础知识与应用
![【AI与机器学习起步】：第...人工智能（AI）和机器学习是推动现代科技进步的重要力量，涵盖了从基础理论到实践方法的广泛知识体系。本文首先介绍了AI与机器学习的基本概念，随后深入探讨了其基础理论，包括统计学习、
线性回归 & Softmax与分类模型 & 多层感知机
不忘初心，方得始终
02-12 1656
大学的时候，统计学专业，线性回归这个内容足足有一本书，包含了很多内容。《动手学深度学习》这本书，书如其名，侧重于实践。 1 线性回归 统计学习方法=模型+策略+算法，下面就从这三部分对线性回归进行描述。 待更新 2 动手实践 实现一个模型的pipeline包括以下几个部分： 1 准备数据集 2 数据读取 3 定义模型 4 定义损失函数 5 定义优化器/优化函数 6 参数...
深度学习中几种常见函数介绍（SoftMax,ReLU,Sigmoid,Tanh）
鬼马行天的博客
04-23 1073
Softmax函数将任意实数值的向量转换为相同维度的实数值向量，其中每个元素的值处于(0,1)区间内，并且所有元素的和为1。因此，Softmax输出可以被解释为一个概率分布。这些函数各有特点，选择哪种函数通常取决于具体问题的需求、网络架构和所需的数学特性。ReLU及其变体因其简单高效而广泛使用于各种网络的隐藏层，而Softmax、Sigmoid和Tanh则更多地用于输出层，以便于输出解释和概率估计。
深度学习常见激活函数：ReLU，sigmoid，Tanh，softmax，Leaky ReLU，PReLU，ELU整理集合，应用场景选择
JJxiao520的博客
11-22 3820
近年来常用激活函数集合，拒绝知识角落盲点
sigmoid/ReLu/softmax
weixin_45578788的博客
01-09 1333
下面给出Softmax函数的定义（以第i个节点输出为例）： 其中 为第i个节点的输出值，C为输出节点的个数，即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。 ...
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 11万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
激活函数：sigmoid、softmax、Relu
weixin_45366750的博客
09-22 3443
一、目标 希望识别正确的概率越大越好，与其他类的差别越大越好。 概率的表示用softmax函数。 概率的差别的表示用交叉熵。
AI 内容分享(十八)：秒懂AI-深度学习四种常用激活函数：Sigmoid、Tanh、ReLU和Softmax
之乎者也·的博客
01-20 4943
Softmax是一种常用的激活函数，主要用于多分类问题中，可以将输入的神经元转化为概率分布。ReLU的输出范围是[0, +∞)，而输入值为负数时输出为0，这导致ReLU输出的分布不对称，限制了生成的多样性。Leaky ReLU在输入小于或等于0时，输出一个较小的斜率，避免了完全的“死亡神经元”问题。当输入值小于或等于0时，ReLU的输出为0，导致该神经元失效，这种现象称为“死亡神经元”。与Leaky ReLU不同的是，PReLU的斜率不是固定的，而是可以根据数据进行学习优化。
DeepMind: 用ReLU取代Softmax可以让Transformer更快
weixin_4528312的博客
09-24 3251
研究发现，利用线性ReLU替代Softmax来计算注意力矩阵，可以让transformer机制在不损失精度的情况下，提高机器训练的效率和成本。
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
weixin_44115575的博客
06-20 4万+
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
relu、sigmoid、softmax函数对比
09-06
首先，用户的问题是关于ReLU、Sigmoid和Softmax函数的对比。我需要使用中文回答问题。 我的回答必须包括： 1. 解释这三个函数的对比。 2. 在回答末尾，提出3-5个相关问题。 3. 第一行相关问题必须是"§§相关问题§...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值