理解crossentropy loss

最新推荐文章于 2024-03-24 15:44:33 发布
最新推荐文章于 2024-03-24 15:44:33 发布
阅读量5k 收藏 2
点赞数 6
分类专栏： deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seamanj/article/details/92035966
版权

在这里插入图片描述

在这里插入图片描述
input 为 (N,C)维, 其中N为样本个数, C为分类数, 其中值为每个样本在某类上的得分, 注意这里不是概率, 可以为正也可以为负, 也可以大于1, 后面会经过softmax的处理, 统一变成概率的分布
target为N维, 其值为truth groud 的分类值

这个Loss就是正确得分(后面会转成概率)在所有得分所占的比重来确定的, 如果正确的概率为1, 其他都为0的话, 那么 根据上面的公式可得loss为0

然后特别特别重要的一点， 就是送入cross_entropy之前不要进行softmax归一化处理， 否则会训练不出来。因为归一化把信号变弱了， 而且你会发现cross_entropy久久不能为0, 然后可能造成logits为错误的one hot vector, 梯度消失, 参数得不到更新。这个bug耽误了我一年左右的科研时间！！！

seamanj
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch中的CrossEntropyLoss()函数案例解读和结合one-hot编码计算Loss
01-20
使用Pytorch框架进行深度学习任务，特别是分类任务时，经常会用到如下： import torch.nn as nn criterion = nn.CrossEntropyLoss().cuda() loss = criterion(output, target) 即使用torch.nn.CrossEntropyLoss()作为损失函数。 那nn.CrossEntropyLoss()内部到底是啥？？ nn.CrossEntropyLoss()是torch.nn中包装好的一个类，对应torch.nn.functional中的cross_entropy。 此外，nn.CrossEntropyL
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
交叉熵损失函数 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cros
交叉熵损失（Cross-Entropy Loss）
最新发布
weixin_43368992的博客
03-24 360
在实际应用中，交叉熵损失通常与softmax函数结合使用，softmax函数可以将模型的原始输出（logits）转换为概率分布。对于正确的类别，当模型的预测概率越接近1时，损失越小；y：真实标签的概率分布，通常为一个独热编码向量，表示正确的类别位置为1，其余位置为0。对于错误的类别，当模型的预测概率越接近0时，损失越小；它鼓励模型对正确的类别有更高的预测概率，同时又对错误的类别有更低的预测概率。p：模型预测的概率分布，通常是模型输出层（如softmax层）的输出。Pi：预测概率向量中的第 i个元素。
【pytorch】Softmax，LogSoftmax，CrossEntropyLoss，NLLLoss，F.cross_entropy， F.binary_cross_entropy傻傻分不清楚？
x66ccff
01-13 1032
在实际应用中，如果发现模型训练过程中出现数值稳定性问题，或者需要加速训练过程，使用 LogSoftmax + NLLLoss 可能是一种较优的选择。在计算损失时，使用 NLLLoss 计算对数似然损失需要进行一次对数运算，而 CrossEntropyLoss 需要进行两次对数运算。在输入数值较大时，使用 Softmax 会导致溢出，而 LogSoftmax 则不会。而 LogSoftmax 之后，得到预测概率分布的对数。可以看到，这两种搭配方法计算的结果是一致的。，负对数似然损失就是将两个分布。
pytorch CrossEntropyLoss 学习
lb521200200的专栏
02-15 899
class torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction='elementwise_mean') 功能： 将输入经过softmax激活函数之后，再计算其与target的交叉熵损失。即该方法将nn.LogSoftmax()和nn.NLLLoss()进行了结合。严格意义上的交叉损失函数应该是nn.NLLLoss() 交叉熵损失(cro...
交叉熵函数cross_entropy与归一化指数函数softmax
贾路飞的博客
03-27 1806
交叉熵 交叉熵主要是用来判定实际的输出与期望的输出的接近程度，其数学公式如下： 但Pytorch中的交叉熵采用了另一种方式，其公式如下： ...
nn.BCELoss和nn.CrossEntropyloss
qq_42251157的博客
10-24 1228
BCE loss 与Cross Encropy loss
交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数
weixin_30691871的博客
12-25 2737
分类问题中，交叉熵函数是比较常用也是比较基础的损失函数，原来就是了解，但一直搞不懂他是怎么来的？为什么交叉熵能够表征真实样本标签和预测概率之间的差值？趁着这次学习把这些概念系统学习了一下。 首先说起交叉熵，脑子里就会出现这个东西： 随后我们脑子里可能还会出现Sigmoid()这个函数: pytorch中的CrossEntropyLoss()函数实际就是先...
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
softmax计算loss时，注意错误：交叉熵实验
smellycat17的博客
08-25 571
以下内容来自《深度学习之Tensor Flow入门、原理与进阶实战》学习 实例描述 下面一段代码，假设有一个标签labels和一个网络输出值logits 进行一下实验： """ Created on Tue Jun 13 09:53:41 2017 @author: 代码医生 注意原作者出处 @blog：http://blog.csdn.net/lijin6249 """ import ...
pytorch的Loss函数总结
juluwangriyue的博客
10-21 670
pytorch的Loss函数总结1. 损失函数简介2. 绝对值损失 L1 loss2.1 nn.L1Loss2.2 nn.SmoothL1Loss3. 平方损失 MSE Loss3.1 nn.MSELoss4. 对数损失 – 交叉熵4.1 nn.CrossEntropyLoss4.2 nn.BCELoss4.3 nn.NLLLoss 1. 损失函数简介 损失函数，又叫目标函数，用于计算真实值和预测值之间差异的函数，和优化器是编译一个神经网络模型的重要要素。 损失Loss必须是标量，因为向量无法比较大小（向量
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。 不过我重新查阅了一下资料，发现同样是处理二...
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
今天小编就为大家分享一篇基于MSELoss()与CrossEntropyLoss()的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
nn.CrossEntropyLoss()
01-20
criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print(网络输出为3个5类:) print...
Gradient-Based Learning Applied to Document Recognition
十年磨一剑
05-28 1683
对应code import torch.nn as nn from collections import OrderedDict class LeNet5(nn.Module): """ Input - 1x32x32 C1 - 6@28x28 (5x5 kernel) tanh S2 - 6@14x14 (2x2 kernel, stride 2) ...
YOLOv3: An Incremental Improvement
十年磨一剑
05-30 874
具体代码见: https://github.com/ultralytics/yolov3 def create_modules(module_defs): """ Constructs module list of layer blocks from module configuration in module_defs """ hyperparams = modu...
Rethinking the Inception Architecture for Computer Vision
十年磨一剑
05-29 818
/home/seamanj/Software/anaconda3/bin/python3.7 /home/seamanj/Workspace/AlexNet/main.py Downloading: "https://download.pytorch.org/models/inception_v3_google-1a9a5a14.pth" to /home/seamanj/.cache/t...
Dilated Residual Networks
十年磨一剑
05-30 804
完整代码请见: https://github.com/fyu/drn class DRN(nn.Module): def __init__(self, block, layers, num_classes=1000, channels=(16, 32, 64, 128, 256, 512, 512, 512), ou...
nn.CrossEntropyLoss()函数的用法
08-16
`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类问题的损失函数。它结合了 `nn.LogSoftmax()` 和 `nn.NLLLoss()`，适用于将模型输出与目标类别...希望这个示例能够帮助您理解 `nn.CrossEntropyLoss()` 函数的用法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值