torch.nn.CrossEntropyLoss自带了softmax!

最新推荐文章于 2024-05-13 20:32:49 发布
最新推荐文章于 2024-05-13 20:32:49 发布
阅读量4.5k 收藏 15
点赞数 3
分类专栏： 学习笔记 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lt1103725556/article/details/110483525
版权

刚刚看一篇代码，注释说了最后有一个softmax，但是代码中却没有用到F.softmax
查阅资料，原来是算交叉熵损失函数的时候自带了softmax
在这里插入图片描述
x[class]是gt类别的预测概率，x[j]是各个类别的预测概率，由于交叉熵损失只计算gt类别的损失，如下图
在这里插入图片描述
x_i是gt类别，p(x_i)只有gt类别时=1，所以实际上只计算gt类别的预测置信度加个log，算个softmax就是第一张图片那样

Rainylt
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
torch softmax cross entropy loss record
weixin_46546516的博客
04-25 231
cross entropy loss 简单复习下，在多分类任务中，使用的损失函数通常为交叉熵损失函数。公式如下： loss=∑yitrue∗log(pi)loss = \sum y_{itrue} * log( p_i)loss=∑yitrue​∗log(pi​) 使用numpy 跟 torch 实现代码为： def np_ce(y_pre, y): return -np.sum( y * np.log(y_pre)) def t_ce(y_pre, y) return - torch.sum(y *
神经网络训练使用nn.CrossEntropyLoss()函数计算损失时对于Softmax分类器的使用讨论
MarkAssassin的博客
03-18 337
神经网络训练使用nn.CrossEntropyLoss()函数计算损失时对于Softmax分类器的使用讨论
nn.CrossEntropyLoss （内置了Softmax） 不要再用softmax
qq_37160943的博客
03-31 3016
CrossEntropyLoss （内置了Softmax） 不要再用softmax 计算公式如下：x为一个num_class(类别数量)维的向量，class为样本的类别。 参考 1.https://blog.csdn.net/geter_CS/article/details/84857220 2.https://blog.csdn.net/Tianweidadada/art...
softmax函数与交叉熵损失详解
最新发布
酒酿小圆子呀～
05-13 1406
由于Softmax函数的数值计算过程中，很容易因为输出节点的输出值比较大而发生数值溢出的现象，在计算交叉熵的时候也可能会出现数值溢出的问题。softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！结果还是挺明显的，经过使用指数形式的Softmax函数能够将差距大的数值距离拉的更大。
【PyTorch】第九节：Softmax 函数与交叉熵函数
荷叶田田的博客
04-17 3405
本实验主要讲解了分类问题中的二分类问题和多分类问题之间的区别，以及每种问题下的交叉熵损失的定义方法。由于多分类问题的输出为属于每个类别的概率，要求概率和为 1 。因此，我们还介绍了如何利用 Softmax 函数，处理神经网络的输出，使其满足损失函数的格式要求。
交叉熵函数cross_entropy与归一化指数函数softmax
贾路飞的博客
03-27 1891
交叉熵 交叉熵主要是用来判定实际的输出与期望的输出的接近程度，其数学公式如下： 但Pytorch中的交叉熵采用了另一种方式，其公式如下： ...
pytorch中损失函数nn.CrossEntropyLoss与激活函数softmax的关系
Andrew_SJ的博客
12-08 1674
在多分类单标签任务中，常使用CrossEntropyLoss作为损失函数，而使用softmax作为对应的最后一层的激活函数。 在Pytorch中，nn.CrossEntropyLoss中已经实现了softmax功能，因此在分类任务的最后一层fc后不需要加入softmax激活函数。因为在计算损失函数时，nn.CrossEntropyLoss函数会自动先将模型输出作一个softmax计算，再与ground truth作损失比较。 参考： https://blog.csdn.net/weixin_30727835
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
总结来说，`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类任务的损失函数，它结合了对数 softmax 和负对数似然损失，使得模型能够最小化预测类别与真实类别之间的差异。在训练过程中，通过优化这个损失函数，可以...
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
nn.CrossEntropyLoss()
01-20
criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print(网络输出为3个5类:) print...
Pytorch中torch.nn的损失函数
12-21
一、torch.nn.BCELoss(weight=None, size_average=True) 二、nn.BCEWithLogitsLoss(weight=None, size_average=True) 三、torch.nn.MultiLabelSoftMarginLoss(weight=None, size_average=True) 四、总结 前言 最近...
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4603
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
Pytorch--新手入门，对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
SHY0978的博客
09-27 3221
对于内置交叉熵损失函数torch.nn.CrossEntropyLoss()的了解
PyTorch中的交叉熵函数 CrossEntropyLoss的计算过程
人工智能
04-29 1230
关于CrossEntropyLoss() 函数的计算过程可以拆解为如下四个步骤：1、对输出的结果进行操作,因为操作可以将所有输入值都归为[0,1]之间，且所有值之和为1，符合概率分布的特性。2、对结果进行log运算，求出都是小于0的值3、对真实概率值进行编码4、利用下面的公式求出最终的loss值CrossEntropyLossx−i1∑n​OneHottargeti​∗logsoftmaxinputi​。
torch.nn.CrossEntropyLoss
一个学术five的blog
11-09 1610
torch.nn.CrossEntropyLoss
使用交叉熵（CrossEntropyLoss）做多分类问题最后一层是否使用softmax
alone_Messi的博客
06-03 3869
最近在一个自己的数据集上做多分类问题，使用的是CrossEntropyLoss作为loss，但是训练效果一直不好。就疯狂找问题，快二十天了，未果。昨天在github上找了一段代码，移植之后。训练居然有效果，在看它的模型时，发现最后一层没有加softmax，手痒就加上去了，网络又没有了学习能力。于是怀疑是不是最后一次softmax的问题。在知乎上找到了一个提问，就是关于这个的，链接如下： 这是个链接 和我这段时间遇到的问题十分的相似，但是我自己的网络还是跑，不知道最后的结果会不会有改善。趁着等网络结果的时间，
torch的交叉熵损失函数(cross_entropy)计算(含python代码)
向上生长的程序媛的博客
12-01 1万+
1.调用 首先，torch的交叉熵损失函数调用方式为： torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean') 一般会写成： import torch.nn.functional as F F.cross_entropy(input, target) 2.参数说明 输入（张量）–(N,
Softmax函数与交叉熵
热门推荐
behamcheung的博客
05-13 4万+
Softmax函数与交叉熵
CrossEntropy交叉熵损失函数及softmax函数的理解
qq_44629163的博客
04-22 9477
参考链接1 参考链接2 参考链接3 （一）什么是Sigmoid函数和softmax函数？ 1、提到二分类问题容易想到逻辑回归算法，而逻辑回归算法最关键的步骤就是将线性模型输出的实数域映射到[0, 1]表示概率分布的有效实数空间，其中Sigmoid函数和softmax函数刚好具有这样的功能。 2、Sigmoid函数 当分类结果可以只用一个节点表述时，使用Sigmoid函数： ...
torch.nn.crossentropyloss
09-15
torch.nn.CrossEntropyLoss是PyTorch中常用的交叉熵损失函数之一。它结合了torch.nn.LogSoftmax和torch.nn.NLLLoss两个函数，用于多分类问题的训练中。交叉熵损失函数常用于衡量模型输出与真实标签之间的差异。 在torch.nn.CrossEntropyLoss中，输入的形状为(batch_size, num_classes)，其中batch_size是每个训练批次的样本数量，num_classes是分类的类别数量。在训练过程中，模型输出的结果会通过torch.nn.LogSoftmax函数进行处理，得到对应的概率分布。然后，模型预测的概率分布与真实标签之间会被计算交叉熵损失。 交叉熵损失函数的计算公式如下： loss = -sum(y_true * log(y_pred)) 其中，y_true是真实标签的概率分布，y_pred是模型预测的概率分布。 torch.nn.CrossEntropyLoss会自动将模型输出的概率分布进行归一化，并进行log运算。因此，在使用torch.nn.CrossEntropyLoss时，不需要手动应用torch.nn.LogSoftmax函数。 需要注意的是，torch.nn.CrossEntropyLoss函数的输入不包含softmax层。如果模型的最后一层是softmax层，可以直接使用torch.nn.CrossEntropyLoss来计算损失。如果模型的最后一层是logits层（未经过softmax激活），可以使用torch.nn.CrossEntropyLoss配合torch.nn.LogSoftmax来计算损失。 总结起来，torch.nn.CrossEntropyLoss是PyTorch中用于多分类问题训练的交叉熵损失函数，它结合了torch.nn.LogSoftmax和torch.nn.NLLLoss两个函数，并且可以适用于不同形式的模型输出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值