激活函数总结

最新推荐文章于 2024-09-07 14:46:01 发布
最新推荐文章于 2024-09-07 14:46:01 发布
阅读量80 收藏
点赞数
分类专栏： pytorch 文章标签： 激活函数 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltochange/article/details/119216536
版权
本文深入探讨了在神经网络中常用的几种激活函数，包括Identity函数、Logistic函数（Sigmoid）、双曲正切函数（Tanh）以及ReLU函数。这些函数在神经网络的非线性变换中起着关键作用，影响模型的学习能力和预测性能。Identity函数提供线性变换，而Sigmoid和Tanh则引入了S型曲线，适合二元分类问题。ReLU因其简单且有效避免梯度消失问题而在深度学习中广泛使用。
摘要由CSDN通过智能技术生成

identity

f ( x ) = x f(x) = x f(x)=x

logistic

f ( x ) = 1 1 + e x p ( − x ) f(x) = \frac 1{ 1 + exp(-x)} f(x)=1+exp(−x)1​

tanh

f ( x ) = t a n h ( x ) f(x) = tanh(x) f(x)=tanh(x)

relu

f ( x ) = m a x ( 0 , x ) f(x) = max(0, x) f(x)=max(0,x)

旺旺棒棒冰
关注
专栏目录
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7865
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
常用激活函数（激励函数）理解与总结
Sandwichsauce的博客
02-28 1632
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内...
常见激活函数总结
最新发布
qq_32756029的博客
09-07 1483
常见激活函数总结。
激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)
生活需要深度
08-02 1008
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。可在嵌入式上使用：swish非线性激活函数提高了检测精度，但不适合在嵌入式移动设备上使用，因为“S”型函数在嵌入式移动设备上的计算成本更高，求导较为复杂，在量化时计算较慢。在输入小于-1时，输出值将被固定为-1，在输入大于1时，输出值将被固定为1。非线性性：尽管HardTanh函数在输入在[-1,1]之间是线性的，但它在输入小于-1和大于1时是非线性的，因此可以引入一些非线性特性，有助于提高模型的表达能力。
激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)
生活需要深度
08-02 640
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax)。
常用激活函数总结（深度学习）
热门推荐
weixin_44646390的博客
11-18 1万+
常用激活函数总结
深度学习-激活函数总结
fzz97_的博客
03-16 349
主要介绍了激活函数的作用，以及sigmoid、tanh、relu等在内的常见激活函数的性质和优缺点。
深度学习常用激活函数总结
weiyaner的博客
07-25 1507
首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。......
激活函数总结（一）：ReLU及其变体
走在深度学习前沿的小宋
08-07 2331
本文介绍了一些常用的激活函数，包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、 Swish等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：ReLU激活函数还是最常用的激活函数。
pytorch之学习率变化策略之LambdaLR
ltochange的博客
05-10 1万+
根据当前epoch来调整学习率 torch.optim.lr_scheduler 根据验证集的测试指标调整学习率torch.optim.lr_scheduler.ReduceLROnPlateau 学习率调整一般在参数更新之后
loss函数之MarginRankingLoss
ltochange的博客
07-12 1万+
MarginRankingLoss 排序损失函数 对于包含NNN个样本的batch数据 D(x1,x2,y)D(x1,x2,y)D(x1,x2,y), x1x1x1, x2x2x2是给定的待排序的两个输入，yyy代表真实的标签，属于{1,−1}\{1,-1\}{1,−1}。当y=1y=1y=1是，x1x1x1应该排在x2x2x2之前，y=−1y=-1y=−1是，x1x1x1应该排在x2x2x2之后。第nnn个样本对应的losslossloss计算如下: ln=max⁡(0,−y∗(x1−x2)+margin
pytorch之BatchNorm
ltochange的博客
08-23 8680
为了解决 Internal Covariate Shift问题引入，该问题具体表现为： 中间层输入分布总是变化，增加了模型拟合的难度。 中间层输入分布会使输出逐渐靠近激活函数梯度较小的地方，导致梯度消失 BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的，训练过程中，在输入到激活函数之前，对每个batch输入，做如下处理： 在训练过程中，通过以上处理，使得每个batch保持相同分布； 如下图所示，训练过程为第1-6行，这里需要注意的是BN层是引入了可训练参数的β\be
pytorch中mask操作之torch.masked_select
ltochange的博客
04-28 7373
import torch # torch.masked_select(input, mask, *, out=None) → Tensor # 返回input中mask为True的元素，组成1维tensor # input 和mask的维度不一定要相同,但是需要可以扩展成同样维度 x = torch.randn(3, 4) print(x) """ tensor([[ 0.3552, -2.3825, -0.8297, 0.3477], [-1.2035, 1.2252, 0.5.
pytorch梯度累积
ltochange的博客
03-21 5062
增大batchsize训练模型，一般都能带来一定的提升。在显卡内存不够的情况下，可以通过梯度累积的方式，来扩大batchsize。 因为pytorch中，反向传播之后，梯度是不清零的，因此要实现梯度累积，比较简单 不使用梯度累积的情况下，训练代码： for i, (input_id, label) in enumerate(train_loader): # 1. 模型输出 pred = model(input_id) loss = criterion(pred, labe
深度学习模型的集成
ltochange的博客
05-25 2383
目前，了解到的深度学习模型集成的方法主要有两种： 第一：平均checkpoints 即对存储好的多个checkpoint中的参数求平均，然后重新保存。这里的多个checkpoint可以是同一份数据训练，模型收敛后存储的多个模型；也可以是不同的数据训练得到的模型。 该方法的优点是可以提高单个模型的效果，并且推理的速度和存储都不会发生变化。缺点在于待平均的模型的结构要完全一致，另外提升的效果不会很大。以pytorch为例，代码如下： # Copyright 2018 CVTE . All Rights Rese
激活函数：非线性转折的关键
神经网络中的激活函数起着至关重要的作用，它就像给神经网络模型添加“灵魂”一样，让模型具有处理非...总结来说，激活函数的作用在于引入非线性，扩展神经网络的建模范围，从而适应和解决现实世界中复杂的数据分布。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺旺棒棒冰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值