三种Sigmoid的区别

最新推荐文章于 2023-06-24 15:34:47 发布
最新推荐文章于 2023-06-24 15:34:47 发布
阅读量1.3k 收藏 9
点赞数 7
分类专栏： Pytorch 文章标签： pytorch 深度学习 神经网络 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44673253/article/details/125310670
版权

文章目录

torch.sigmoid( )

这是一个方法，拥有Parameters以及Returns。

请添加图片描述

参考官网的解释，就可以从输出很明显的看到输出就是属于概率[0,1]之间了
所以sigmoid函数就是将输出值映射到[0,1]

torch.nn.sigmoid( )

请添加图片描述

有一个很明显的class，所以这说明了
torch.nn.Sigmoid在我们的神经网络中使用时，我们应该将其看作是网络的一层，而不是简单的函数使用。会构建计算图。

torch.nn.funtional.sigmoid( )

请添加图片描述

事实上，torch.nn.functional从这个包名就能看出来，这个包里的都是函数。同样的，按照官网的文档的内容，我们也可以判断出torch.nn.funtional.sigmoid是一个方法，可以直接在我们的神经网络的forward中使用，并不需要在init的时候初始化。也就是说torch.nn.functional.sigmoid和torch.sigmoid没有什么区别，同理，本文对于其他的激活函数一样适用。

总结

具体情况具体分析，一般使用torch.sigmoid( )。

世界仙境与冷酷尽头
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别
puspos的博客
07-17 2531
torch.sigmoid：函数 torch.sigmoid(input_tensor,out=None)->Tensor torch.nn.Sigmoid：class 应该看作网络的一层，而不是简单的函数使用。 模型的初始化方法中使用，需要在_init__中定义，然后在使用 class Model(torch.nn.Module): def __init__(self): super(Model, self).__init__() self.linear1
第三章_深度学习基础1
08-03
第三章深入探讨了深度学习的基础知识，涵盖了神经网络的基本概念、网络操作与计算、超参数、激活函数、Batch Size、归一化、预训练与微调、权重偏差初始化、Softmax、One Hot Encoding、优化器、Dropout以及数据增强...
F.torch.sigmoid
qq_44625074的博客
02-02 1562
二分类 import torch from torch.nn import functional as F X = torch.tensor([[0,0],[1,0],[0,1],[1,1]] ,dtype = torch.float32) torch.random.manual_seed(420) dense = torch.nn.Linear(2,1) zhat = dense(X) sigma = F.torch.sigmoid(zhat) y = [int(x) for x in sigm
深度学习原理42——一文彻底理解sigmoid和softmax的区别和输出通道维度的关系
xiaotiig的博客
12-31 1万+
1 模型的输出基本上分为3种情况，当然还有其它的： （1）分类：2分类，多分类，对应输出为一个预测向量，可以是1个，两个，多个 （2）目标检测：对应二维矩阵m*n,m行代表有m个目标，n列代表n个特征预测值，x,y,类别类型。 （3）语义分割： 2 二分类sigmoid 输出通道维度是1，用sigmoid 输出通道维度是2，用softmax 3 多分类 多分类用softmax，同时注意算不算背景，多分类考虑不考虑其它，语义分割考虑不考虑背景，考虑的话需要在类别的基础上加1，比如20+1 ...
15_torch.sigmoid,torch.nn.Sigmoid之间的区别
涂作权的博客
02-03 1696
torch.sigmoid(input, *, out=None) → Tensor CLASS torch.nn.Sigmoid 案例： import torch m = torch.nn.Sigmoid() input = torch.randn(2) output = m(input) print(output)
torch.sigmoid() 与 torch.nn.Sigmoid() 对比 python
热门推荐
是鲤鱼啊
03-26 11万+
1. torch.sigmoid() 2. torch.nn.Sigmoid() 只看文档，我没太看出二者的具体区别，通过以下可知得到结果自然相同，不过使用方式确实不同，我目前也没明白为啥： ...
neural_networks.rar_三层神经网络_两层
09-23
例如，它们可能使用了sigmoid、ReLU等激活函数，以及梯度下降、随机梯度下降（SGD）或Adam等优化算法。此外，代码还可能涉及数据预处理、超参数调整（如学习率、批次大小）以及训练过程中的验证和测试。 总结来说，...
03_第三章_深度学习基础1
08-03
3.1.6 与机器学习的区别：深度学习侧重于自动学习特征，而机器学习需要手动设计特征。 3.2 网络操作与计算 3.2.1 前向传播与反向传播：前向传播是指输入数据通过网络计算得到预测输出的过程；反向传播则是通过链式...
深度学习损失函数原理分析（三） 深度学习原理.pdf
04-13
BCEWithLogitsLoss 是 BCELoss 的一种变体，区别在于它将 Sigmoid 激活函数和 BCELoss 合并成一步。这样可以减少计算量和提高模型的训练速度。 在 PyTorch 中，可以使用 torch.nn.BCEWithLogitsLoss() 函数来计算 ...
DeepLearning深度学习教程_第三章_深度学习基础.pdf
最新发布
08-23
本教程的第三章深入探讨了深度学习的基础知识，包括基本概念、网络操作与计算、超参数、激活函数、Batch Size、归一化、预训练与微调、权重偏差初始化、学习率以及正则化等关键要素。 3.1 基本概念： - 神经网络由...
torch.sigmoid、torch.nn.Sigmoid和torch.nn.functional.sigmoid的区别
YYyyy
05-21 2万+
  review代码的时候发现我使用的是torch.sigmoid，pycharm标黄cannot find reference 'sigmoid' in '__init__.py'于是产生了这样的疑问，这三者的区别是啥。 0x00. 官网解释 torch.sigmoid   我们可以看到，这是一个方法，拥有Parametrs和Returns。 torch.nn.Sigmoid   可以...
torch.sigmoid与nn.sigmoid的区别
ghashgsgg的博客
03-27 1668
与torch.sigmoid 不同的是，nn.Sigmoid 的输入和输出都是张量，通过其forward方法的计算，将输入张量进行逐元素的Sigmoid计算，输出结果也是张量。因此，torch.sigmoid 返回的是原始输入的Sigmoid函数值张量。总之，torch.sigmoid 和 nn.Sigmoid 在计算Sigmoid函数上是相同的，但 nn.Sigmoid 是PyTorch中的一个层，需要被实例化并应用在神经网络中，而 torch.sigmoid 是一个函数，可以直接用于张量的逐元素操作。
（深度学习入门）sigmoid型函数和 sigmoid函数的区别
ALLISBUG的博客
11-01 585
（深度学习入门之激活函数）sigmoid型函数和 sigmoid函数的区别
Pytorch ----逻辑斯蒂回归 （Sigmoid函数） -----分类问题模型,~~学习笔记
深度不学习！！的博客
10-31 3839
说是回归，实际是在讨论分类问题。 如下的分类图，里面含有0-9 十个数字。 这时候就不能再使用前面几节学过的线性回归模型(y = w * x + b)了，因为图片中的数字并没有对应到实际抽象的数字，我们只做分类，图片类别之间是没有大小的。 也就是我们要算出来 根据输入值，算出其属于某一部分的概率。 例如之前在线性回归中使用的数据模型: x表示学习几个小时，y表示考试中可以得到几分。 而现在的数据模型改为: x依旧是学习几个小时，y变为是否能够通过考试，0不通过，1通过。 此时为明显的分类问题，此处叫二
Sigmoid激活的是第几维呢？
A2321161581的博客
10-11 675
Sigmoid激活的是第几维呢？
torch中三种sigmoid使用方法
weixin_44020179的博客
06-07 2万+
关于下面三种sigmoid的使用方法 torch.sigmoid() torch.nn.functional.sigmoid() torch.Sigmoid 相同点 都是将值映射到0-1之间，没用区别 不同点 所属类型不同 方法：torch.sigmoid() 和torch.nn.funtional.sigmoid() 类：torch.Sigmoid 使用方法不同 两个方法函数直接传输向量就行，而类需要先定义一个类，然后再通过调用类本身的__call__函数去使用。 a = torch.tens
【pytorch函数笔记】torch中三种sigmoid使用方法
Catherinemin的博客
06-24 3637
关于下面三种sigmoid的使用方法​先来看看官方文档怎么说的。
torch.sigmoid()、torch.nn.Sigmoid()和torch.nn.functional.sigmoid()三者之间的区别
crazyjinks的博客
05-11 986
这是一个直接的函数调用，适用于任何需要计算Sigmoid函数的情况。这个函数接受一个张量作为输入，并返回一个新的张量，其中包含输入张量中每个元素的Sigmoid值。: 这是一个类定义，通常用在定义神经网络模型的类中，作为一个层来使用。这个类创建了一个可调用的对象，当调用这个对象时，会计算输入张量的Sigmoid值。综上所述，如果你在定义一个模型的类，并希望在其中使用Sigmoid激活函数，你应该选择。然而，需要注意的是，这个函数在PyTorch的后续版本中已经被弃用，建议使用。
深度学习06—逻辑斯蒂回归（torch实现）
m0_55196097的博客
09-23 2034
结合下文辅助学习： 传送门 torch.sigmoid(): 这是一个方法，包含了参数和返回值。torch.nn.Sigmoid(): 可以看到，这个是一个类。在定义模型的初始化方法中使用，需要在_init__中定义，然后在使用。 torch.nn.functional.sigmoid(): 这其实是一个方法，可以直接在正向传播中使用，而不需要初始化。**在训练模型的过程中，也可以使用。**例如： 这三个sigmoid()实现的功能是一样的，没有区别。 结果： 2.5.2 BCE
relu sigmoid 区别
06-04
ReLU和sigmoid都是常用的激活函数，但是它们有一些区别。 ReLU（Rectified Linear Unit）是一种非线性激活函数，它在输入大于0时返回输入值，否则返回0。ReLU相对于sigmoid和tanh等激活函数具有更快的计算速度和更好的收敛性能，同时也更不容易出现梯度消失的问题。但是，ReLU的缺点是在输入小于0时，其梯度为0，这可能导致神经元无法更新。因此，ReLU的变种LeakyReLU被提出来，它在输入小于0时返回一个小的斜率，而不是0。 Sigmoid是一种S形函数，它将输入映射到[0,1]之间的输出。Sigmoid的输出可以被看作是一个概率值，这使得它在二分类问题中广泛使用。但是，Sigmoid也存在梯度消失的问题。当输入非常大或非常小时，Sigmoid的导数会趋近于0，导致神经元无法更新。 因此，ReLU和Sigmoid各有优缺点，具体使用哪种激活函数要根据具体情况来决定。通常情况下，ReLU被认为是默认的选择，因为它更简单、更有效。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值