nn.CrossEntropyLoss的ignore_index标签(CE loss)

最新推荐文章于 2024-05-13 09:40:48 发布
最新推荐文章于 2024-05-13 09:40:48 发布
阅读量9.8k 收藏 10
点赞数 11
文章标签： 深度学习 计算机视觉 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/119519469
版权

 例如我的pred是(b,2,w,h),而label索引是(b,1,w,h)的矩阵，其中只有0，1值，0值代表从pred的第0个通道选择像素值，1值代表从pred的第1个通道选择像素值。

而此时我发现因为程序的错误，label矩阵中混入了一些-1值，这样正常的话是会报错的，因为pred矩阵没有-1通道。此时最简单的一个方法就是

loss = nn.CrossEntropyLoss(ignore_index=-1)

就是相当于忽略-1标签

值为-1的位置的对应像素值就不参与计算梯度了

hxxjxw
关注
  • 11
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
ignore_index：交叉熵损失中的ignore_index参数【torch.nn.functional.cross_entropy的ignore_index】【默认-100】
u013250861的博客
07-17 449
因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。label = 1 的损失 = （- ln0.2683 - ln0.3603 ） / 2 = （1.315650 + 1.020818）/2 = 1.168234。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。label = 2 的损失 = - ln0.2552 = 1.365708。
Keil.STM32F4xx_DFP.2.15.0.pack(STM32F4xx系列固件库for Keil MDK 5)
03-21
ignore bus speed for slave mode). Corrected Uninitialize function (to power off the peripheral if it is powered). Corrected SPI3_SCK pin configuration. Corrected DMA MemDataAlignment configuration. ...
关于nn.CrossEntropyLoss交叉熵损失中weight和ignore_index参数
Henry的博客
04-13 6357
因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。所以，loss = -(ln0.69+ln0.3543+ln0.5987)/3 = -（ln0.1464） / 3 = 0.6406。所以，在样本不均衡的情况下，加label少的样本，w加大，可以将loss变大，从而梯度下降的时候可以更好的弥补样本不平衡的问题。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。
Pytorch的torch.nn.functional.cross_entropy的ignore_index细解
最新发布
anshiquanshu的专栏
05-13 316
假设有两类{0:背景，1：前景}，若想在计算交叉熵时忽略背景(0)类，则可令ignore_index=0（同理忽略前景计算可设ignore_index=1）。例如我的pred是(b,2,w,h),而label索引是(b,1,w,h)的矩阵，其中只有0，1值，0值代表从pred的第0个通道选择像素值，1值代表从pred的第1个通道选择像素值。而此时我发现因为程序的错误，label矩阵中混入了一些-1值，这样正常的话是会报错的，因为pred矩阵没有-1通道。ignore_index表示计算。
Pytorch中的损失函数-CROSSENTROPY LOSS
weixin_40994552的博客
03-11 3605
CLASS torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean', label_smoothing=0.0) weight (Tensor, optional) 每个类别的权重，如果指定，维度大小为 C (类别数) ignore_index (int, optional) 不计入损失函数的类别索引 reduction (string, opti
cross_entropy中ignore——index
weixin_44523062的博客
05-21 3391
官方文档 https://pytorch.org/docs/master/nn.functional.html#torch.nn.functional.cross_entropy 作用 ignore_index用于忽略ground-truth中某些不需要参与计算的类。假设有两类...
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
qq_50001789的博客
02-10 5516
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
交叉熵损失及Pytorch实现中的“坑”
开飞机的小毛驴儿
01-13 1315
参考资料1：损失函数｜交叉熵损失函数 - 知乎 以图像分类任务为例，假设有两个模型对输入图像中的动物类别进行预测，预测类别可能为猫、狗和猪。假设两个模型均是通过sigmoid或者softmax的方式输出每个预测结果的概率值。 模型1的预测结果如下： 模型2的预测结果如下： 对比模型1和模型2的预测结果，可以看出模型1对样本1和样本2以非常微弱的优势判断正确，对于样本3则彻底错误；而模型2则对样本1和样本2的判断非常准确，对于样本3判断错误，但是错误并非特别离谱。 如果直接使用classi.
ignore_home_key.zip_Home Home
09-24
标题"ignore_home_key.zip_Home Home"暗示了这个压缩包包含了一个关于如何在Android应用中屏蔽Home键的示例或教程。 描述中的"android的某个activity中屏蔽掉home键的功能"进一步确认了我们要讨论的主题。在Android...
at91sam9g25.zip_Ignore It!_at91
09-23
【标题】"at91sam9g25.zip_Ignore It!_at91" 提供的信息主要涉及一个与AT91SAM9G25相关的压缩文件，而"Ignore It!"可能是在提示我们这个资源可能是多余的或者已经过时，不需特别关注。然而，对于学习和了解AT91SAM9...
bcmp.rar_Ignore It!
09-20
标签 "ignore_it!" 进一步强调了这个事件的可忽略性。在编程和系统调试过程中，有时会遇到一些非致命性的错误或警告，这些情况可以被安全地忽略，以避免中断主要的程序流程。 压缩包中的文件名称列表包括： 1. sony...
Keil.STM32F4xx_DFP.2.15.0.pack
04-15
ignore bus speed for slave mode). Corrected Uninitialize function (to power off the peripheral if it is powered). Corrected SPI3_SCK pin configuration. Corrected DMA MemDataAlignment configuration. ...
【损失函数】(四) CrossEntropyLoss原理 & pytorch代码解析
Lizhi_Tech的博客
08-02 1271
接下来就是CrossEntropyLoss了，在分类任务中经常用到。建议大家先看看上一篇NLLLoss的文章再来看这篇，会比较好理解。CrossEntropyLoss的计算公式如下：其中是每个类别的权重，默认的全为1，表示对应target那一类的概率。
pytorch中nn.CrossEntropyLoss使用注意事项
qq_39482406的博客
12-07 1757
pytorch中nn.CrossEntropyLoss使用注意事项 Loss的数学表达公式： 使用代码样例： # 这样展开就相当于每个词正确的类别和预测的整个词表概率分布进行对应 criterion = nn.CrossEntropyLoss(ignore_index=2).to(device) # ignore_index是指忽略真实标签中的类别 vocab_size = pre.shape[-1] trg = trg[:,1:] trg_tag = trg.reshape(-1).to(d
Pytorch自定义损失，关于ignore_index的处理
qq_38861679的博客
10-13 8441
自定义损失         我们知道对于分割任务而言，一般来说会采取交叉熵作为分类损失，但是有的时候我们需要自定义损失，这个时候可能需要自己处理ignore_index。这里简单提一下ignore_index的含义，对于给定的groundtruth，有的label实际上是不会到的，如cityscapes数据集中就设置了一些mask的标签为255，代表着标签为255的像素不会参与训练，也不会参与评价指标的计算。既然不会参与训练，我
『骑驴看代码』CrossEntropyLoss
m0_63642362的博客
02-12 448
交叉熵损失函数
pytorch 损失函数教程(1) torch.nn.CrossEntropyLoss
qq_41724804的博客
06-15 641
pytorch 损失函数使用教程
CrossEntropy（交叉熵损失函数pytorch）
xiaziqiqi的博客
07-03 3209
weight， 为一维张量，具体的大小为M，M为样本的标签数量，代表赋予的类别的权重ignore_index，int类型数据，用于指定忽略某个类别的索引。默认为 -100，表示不忽略任何类别。reduction：指定损失函数的计算方式。可选项包括：‘none’（不返回每个样本的损失值）、‘mean’（返回每个样本的平均损失值）、‘sum’（返回每个样本的总损失值）。N，代表了N个样本LiL_{i}Li​，为某个样本的对应损失函数的值yiy_{i}yi​。
nn.CrossEntropyLoss(ignore_index=255) 是什么意思？
03-31
nn.CrossEntropyLoss(ignore_index=255) 表示使用交叉熵损失函数进行训练，并设置忽略标签为255的样本。在计算损失时，忽略标签为255的样本，即不对这些样本计算损失值。这通常用于处理数据中存在无效标签的情况，例如在图像分割任务中，标签为255通常用于表示边界或背景区域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值