Pytorch踩坑记之交叉熵（nn.CrossEntropy，nn.NLLLoss，nn.BCELoss的区别和使用）

最新推荐文章于 2025-02-28 18:46:06 发布
最新推荐文章于 2025-02-28 18:46:06 发布
阅读量4.4w 收藏 270
点赞数 114
分类专栏： 深度学习 Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/watermelon1123/article/details/91044856
版权

目录

nn.Softmax和nn.LogSoftmax

nn.NLLLoss

nn.CrossEntropy

nn.BCELoss

总结

在Pytorch中的交叉熵函数的血泪史要从nn.CrossEntropyLoss()这个损失函数开始讲起。从表面意义上看，这个函数好像是普通的交叉熵函数，但是如果你看过一些Pytorch的资料，会告诉你这个函数其实是softmax()和交叉熵的结合体。然而如果去官方看这个函数的定义你会发现是这样子的：

哇，竟然是nn.LogSoftmax()和nn.NLLLoss()的结合体，这俩都是什么玩意儿啊。再看看你会发现甚至还有一个损失叫nn.Softmax()以及一个叫nn.nn.BCELoss()。我们来探究下这几个损失到底有何种关系。

nn.Softmax和nn.LogSoftmax

首先nn.Softmax()官网的定义是这样的：

嗯...就是我们认识的那个softmax。那nn.LogSoftmax()的定义也很直观了：

最低0.47元/天 解锁文章
PyTorch: 交叉熵
2205_75881260的博客
03-07 364
当P=Q时，H(p,Q)=H(P)=-P(i)*log2[P(i)].sum()=Q时，H(P,Q)=-P(i)*log2[Q(i)].sum()#uncertainty越高，信息越多；entropy越高，信息越少。#分类问题使用交叉熵：cross entropy,而不使用mse。#Entropy=-P(i)*log2[P(i)]的求和。3. 交叉熵Cross Entropy。#二值分类：cat和dog。2. 熵Entropy。
pytorch：交叉熵（cross entropy）
weixin_62637793的博客
11-16 8237
entropy中文叫做熵，也叫不确定性，某种程度上也叫惊喜度（measure of surprise）
PyTorch nn.CrossEntropyLoss() 交叉熵损失函数详解和要点提醒
Hoper-J的博客
06-22 2万+
PyTorch nn.CrossEntropyLoss() 交叉熵损失函数详解和要点提醒
聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()
Henry的博客
03-10 4549
解释分类和分割中，CrossEntropyLoss 交叉熵损失函数的作用
PyTorch 的 nn.NLLLoss：负对数似然损失全解析
最新发布
阿正的梦工坊
02-28 1655
在统计学中，似然表示“给定模型参数时，观察到数据的概率”。对数似然（Log Likelihood）是它的对数形式，常用于简化计算。计算正确类别对数概率的负值，最小化它等价于最大化似然
交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数
weixin_30691871的博客
12-25 2837
分类问题中，交叉熵函数是比较常用也是比较基础的损失函数，原来就是了解，但一直搞不懂他是怎么来的？为什么交叉熵能够表征真实样本标签和预测概率之间的差值？趁着这次学习把这些概念系统学习了一下。 首先说起交叉熵，脑子里就会出现这个东西： 随后我们脑子里可能还会出现Sigmoid()这个函数: pytorch中的CrossEntropyLoss()函数实际就是先...
pytorch——交叉熵
qq_46126537的博客
08-07 758
cross_entropy=softmax+log+nll_loss 交叉熵损失一般适用于分类问题 MSE可以用在一些比较前沿的算法中 import torch import torch.nn.functional as F x=torch.randn(1,784) w=torch.randn(10,784) logits=x@w.t() pred=F.softmax(logits,dim=1) pred_log=torch.log(pred) print(F.nll_loss(pred_log,tor
pytorch中交叉熵
geter_CS的博客
04-08 1万+
关于pytorch中交叉熵的使用，pytorch的交叉熵是其loss function的一种且包含了softmax的过程。 pytorch中交叉熵函数是nn.CrossEntropyLoss()。其参数包括：weight，size_averaged，reduce weight参数通常默认值是0，如果你的训练样本很不均衡的话，可以设置其值。 size_averaged参数是设置是否取均值，默认...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
在PyTorch中，`nn.CrossEntropyLoss()` 是一个常用的操作，用于计算神经网络分类任务的损失。这个损失函数结合了对数 softmax 函数和负对数似然损失（negative log likelihood loss），常用于多分类问题。以下是 `nn...
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
`nn.BCELoss` 和 `nn.CrossEntropyLoss` 都是PyTorch库中常见的损失函数，它们主要用于分类问题，但各自有着不同的应用场景和计算方式。这篇文章将详细探讨这两者之间的差异。 首先，`nn.BCELoss`，即二元交叉熵...
PyTorch损失函数之交叉熵损失函数nn.CrossEntropyLoss()
热门推荐
zyoung17的博客
09-06 2万+
PyTorch之nn.CrossEntropyLoss() nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作，这个函数可以用于多分类问题。具体的计算过程可以参考官网的公式或者一下这个链接。 https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html#torch.nn.CrossEntropyLoss https://blog.
pytorch之交叉熵（笔记四）
影子
05-08 376
师傅说过一句话：线性回归用二次代价函数，分类使用交叉熵。 通过一个例子观察一下： 通过观察发现，输入是0.82的比输入是0.98的收敛的更快，为什么呢？为我们通过sigmod函数观察一下。 原因是在0.98的时候收敛的比较平缓，因为斜率比较小，0.82的时候斜率大，收敛的就比较快。 交叉熵的概念 交叉熵和二次代价函数对比。 二次代价函数：代码请参考（我的博客pytorch之mnist手写数字识别（笔记三））：https://mp.csdn.net/editor/html/11..
Pytorch计算交叉熵
weixin_44777283的博客
04-29 156
【代码】Pytorch计算交叉熵。
【pytorch19】交叉熵
qq_45291280的博客
07-06 972
交叉熵
Pytorch 中的交叉熵CrossEntropyLoss
赫凯的博客
11-07 561
损失函数中出镜率还是特别高的，每次用它的时候需要把数据结构调整对了，交叉熵就是预测分类的所属概率，比如这个图片是属于哪一类，属于狗？猫？马？什么的，用网络训完之后会得到一个每个分类的预测概率。 看下面代码 import torch import torch.nn as nn loss = nn.CrossEntropyLoss() input = torch.randn(3, 5, requir...
Pytorch中的交叉熵：通过验证代码学习交叉熵
TSINGHUAJOKING
01-14 670
首先，  输入torch 头文件。下面， 定义两个样本对应的网络输出。分别对应三个类别中的第1,2 两个类别。交叉熵是在用于分类网络常用到的损失函数。¡¿¡¿下面根据网络上的这篇博文， 通过代码对比给出它内部具体的计算公式。下面定义了 softmax， 对数softmax以及获得平均交叉熵的软件定义。下面分别给出 Torch内的 交叉熵以及自定义交叉熵在给定的样例上计算的结果。下面给出了网络输出以及分类类别两个张量。下面计算带有权重的交叉熵。2、带有平滑和权重的交叉熵。1、带有平滑的交叉熵。
【pytorch损失函数之nn.CrossEntropyLoss（）、nn.NLLLoss（）】
2d3d图像算法 halcon\opencv\c++\pcl\vtk\coluldcompare工具 程序员 学习者
05-03 1835
文章目录一、前言二、理论三、项目 一、前言 nn.CrossEntropyLoss()这个损失函数⽤于多分类问题虽然说的是交叉熵。 nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使⽤它来替换⽹络中的这两个操作。 二、理论 ⾸先输⼊是size是(minibatch,C)。这⾥的C是类别数。损失函数的计算如下： 损失函数中也有权重weight参数设置 若设置权重，则公式为： 其他参数不具体说，和设置差不多，默认情况下，对minibat
必能读懂的 交叉熵详解，pytorch中交叉熵的使用
Defiler_Lee的博客
03-12 2604
目录 1. 交叉熵详解 1.1信息量 1.2 熵 1.3 相对熵（KL散度） 1.4交叉熵 1.5 小结 2. 交叉熵的应用（pytorch中） 2.1交叉熵在分类任务中的计算过程 2.2 log_softmax()函数 2.3nll_loss()函数 2.4cross_entropy()函数 2.5 函数的其他调用方式 1. 交叉熵详解 1.1...
Pytorch中的CrossEntropy
KK的博客
04-06 2729
Pytorch中的CrossEntropy表达式如何计算得到输出 Pytorch中的CrossEntropy 表达式 (1) 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 p 和1-p 。此时表达式为： 其中： yi —— 表示样本i的label，正类为1，负类为0 pi —— 表示样本i预测为正的概率 (2) 多分类 多分类的情况实际上就是...
pytorch多分类时，nn.CrossEntropyLoss()函数用法
06-13
在PyTorch中进行多分类任务时，可以使用`nn.CrossEntropyLoss()`函数来计算损失。`nn.CrossEntropyLoss()`函数结合了`nn.LogSoftmax()`和`nn.NLLLoss()`两个函数，可以同时完成softmax操作和交叉熵损失的计算。以下是`nn.CrossEntropyLoss()`函数的用法： ```python import torch.nn as nn loss_fn = nn.CrossEntropyLoss() # 假设模型输出为output，标签为target loss = loss_fn(output, target) ``` 其中，`output`是模型的输出，形状为`(batch_size, num_classes)`，表示每个样本属于每个类别的概率分布；`target`是标签，形状为`(batch_size,)`，表示每个样本的真实标签。 在调用`nn.CrossEntropyLoss()`函数时，它会自动对模型的输出进行softmax操作，并且将标签转换为整数形式。因此，我们不需要手动进行这些操作。损失值`loss`为一个标量，表示模型在这个batch上的平均交叉熵损失。 在训练过程中，我们可以通过反向传播求导来更新模型参数，使得损失值逐渐降低，最终使模型达到最优状态。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值