聊聊关于分类和分割的损失函数：nn.CrossEntropyLoss()

已于 2023-03-10 21:33:42 修改
阅读量3.4k 收藏 10
点赞数 6
分类专栏： # 关于 segmentation # 关于 classification 文章标签： 深度学习 人工智能 算法
于 2023-03-10 21:26:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44886601/article/details/129450717
版权

目录

1. nn.CrossEntropyLoss()

2. 多分类中 nn.CrossEntropyLoss() 的应用

3. 分割中 nn.CrossEntropyLoss() 的应用

3.1 测试文件

3.2 输出可视化

3.3 softmax 

3.4 log 

3.5 CrossEntropyLoss

1. nn.CrossEntropyLoss()

分类中，经常用 nn.CrossEntropyLoss() 交叉熵损失函数

y 为真实值 、 y(hat) 为预测值

 这种采用了 one-hot 编码的形式，多分类中，只有一个label为1

softmax 可以将数据以概率的形式输出，所以输出是在 0-1 之间，那么log 就会是负数，因此交叉熵损失函数前面有个负号。

这也是为什么多分类需要输出经过softmax

nn.CrossEntropyLoss() 已经将 softmax 封装在里面了

2. 多分类中 nn.CrossEntropyLoss() 的应用

测试需要的文件

demo 如下，reshape为(1,-1) 是假设batch为1的情况

分类label的 one-hot 编码需要是float类型，因为分类的label需要进行计算

1.0 * ln predict

 损失结果为：

接下来验证 nn.CrossEntropyLoss() 交叉熵损失函数

结果是一样的

3. 分割中 nn.CrossEntropyLoss() 的应用

一般来说，图像分割的网络输出是4维度的，对应的label 是3维的

predict ： 1，2，2，2

label ： 1，2，2

假设：预测结果是两个channel 的图像

  • 假如第一个channel 的左上角经过softmax 后概率是0.2
  • 假如第二个channel 的左上角经过softmax 后概率是0.8

假设第一个channel 是背景（0）的类别，第二个channel是前景（1）的类别，因此需要保证两个预测概率的和为1。

然后取最大的概率为第二个channel的0.8

所以认为这个2*2图像的左上角为前景像素点（1）的概率大

如果计算损失的话，假设label 的左上角是1的话，那么当前像素点的损失为：

L = -（0 * ln 0.2 + 1 * ln 0.8）# label 不参与计算，只是这样解释而已

最后将四个像素点同样计算后，求平均即可

3.1 测试文件

测试需要的文件

分割的label 是整形，因为不需要参与运算，label 的数字只是代表哪一个类别而已

测试的demo

3.2 输出可视化

维度的解释：输出的预测是 2 个维度的，2*2 大小的1个batch的图像

图像的label 是：

3.3 softmax 

因为 nn.CrossEntropyLoss() 是经过了 softmax 层的，预测值经过softmax后为

 可视化

3.4 log 

将概率经过log后为

 可视化

3.5 CrossEntropyLoss

把每个像素点都认为是一个分类就行了

左上角的预测值有两个 0.4975 和0.5025，左上角的label是1，因此取第二个0.5025

channel = 0channel = 1label预测值
左上角0.49750.502510.5025
左下角0.42560.574400.4256
右上角0.50500.495000.5050
右下角0.83480.165210.1652

因此，损失为

L = - (ln 0.5025 + ln 0.4256 + ln 0.5050 + ln 0.1652) / 4 = 

用 nn.CrossEntropyLoss() 计算值一样

听风吹等浪起
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
交叉熵损失函数 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cros
分类问题损失函数 – 交叉熵
01-06
参考链接：https://zhuanlan.zhihu.com/p/61944055 信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下： 相对熵： 又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。 公式如下： 交叉熵(cross entropy)： 将KL散度公式进行变形得到： 前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
交叉熵nn.CrossEntropyLoss()和nn.BCELoss()
qq_45821834的博客
10-05 1015
简要讲解交叉熵损失的数学基础，并介绍pytorch中torch.nn.CrossEntropyLoss()函数和torch.nn.BCELoss()函数的具体实现
【Pytorch】交叉熵损失函数 CrossEntropyLoss() 详解
weixin_44211968的博客
04-01 3万+
文章目录一、损失函数 nn.CrossEntropyLoss()二、什么是交叉熵三、Pytorch 中的 CrossEntropyLoss() 函数参考链接 一、损失函数 nn.CrossEntropyLoss() 交叉熵损失函数 nn.CrossEntropyLoss() ，结合了 nn.LogSoftmax() 和 nn.NLLLoss() 两个函数。 它在做分类（具体几类）训练的时候是非常有用的。 二、什么是交叉熵 交叉熵主要是用来判定 实际的输出与期望的输出的接近程度。 举个例子：在做分类训练的
神经网络的损失函数——nn.CrossEntropyLoss()
最新发布
qq_53536373的博客
04-09 621
交叉熵损失函数会自动对输入模型的预测值进行softmax。因此在多分类问题中，如果使用nn.CrossEntropyLoss()，则预测模型的输出层无需添加softmax层。默认是“mean” 也就是说当loss_func_none = nn.CrossEntropyLoss()时 会输出一组batch 的损失平均值。tgt表示样本类别的真实值，有两种表示形式，一种是类别的index，另一种是one-hot形式。
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
nn.CrossEntropyLoss()
01-20
用于多分类，直接写标签序号就可以：0,1,2. 预测需要维度与标签长度一致。 import torch import torch.nn as nn import math criterion = nn.CrossEntropyLoss() output = torch.randn(3, 5, requires_grad=True) label = torch.empty(3, dtype=torch.long).random_(5) loss = criterion(output, label) print(网络输出为3个5类:) print(output) print(要计算loss
nn.CrossEntropyLoss()交叉熵损失函数
热门推荐
weixin_45414792的博客
10-15 4万+
在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。 BCELoss是Binary CrossEntropyLoss的缩写，nn.BCELoss()为二元交叉熵损失函数，只能解决二分类问题。在使用nn.BCELoss()作为损失函数时，需要在该层前面加上Sigmoid函数，一般使用nn.Sigmoid()即可， 而在使用nn.CrossEntropyLoss()其内部会自动加上Sofrmax层。下面会详细说明。 nn.CrossEn
nn.CrossEntropyLoss详解
Lucinda6的博客
04-26 2万+
nn.CrossEntropyLoss是pytorch下的交叉熵损失，用于分类任务使用 下面我们看看它具体是怎么实现的 先创建一下数据 import torch.nn as nn import torch x = torch.rand((3,3)) y = torch.tensor([0,1,1]) #x的值 #tensor([[0.7459, 0.5881, 0.4795], # [0.2894, 0.0568, 0.3439], # [0.6124, 0.7558, 0.
pytorch损失函数之nn.CrossEntropyLoss()【内含softmax推导】
LIsaWinLee的博客
07-30 5296
nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
qq_50001789的博客
02-10 5298
PyTorch学习笔记：nn.CrossEntropyLoss——交叉熵损失
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
主要介绍了Pytorch损失函数nn.NLLLoss2d()用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
细数nn.BCELoss与nn.CrossEntropyLoss的区别
12-20
可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。 不过我重新查阅了一下资料，发现同样是处理二...
Pytorch中torch.nn的损失函数
12-21
最近使用Pytorch做多标签分类任务，遇到了一些损失函数的问题，因为经常会忘记（好记性不如烂笔头囧rz），都是现学现用，所以自己写了一些代码探究一下，并在此记录，如果以后还遇到其他损失函数，继续在此补充。...
Keras中的多分类损失函数用法categorical_crossentropy
09-16
主要介绍了Keras中的多分类损失函数用法categorical_crossentropy，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch的 nn.CrossEntropyLoss() 方法详解
哈哈哈哈哈哈
11-21 626
PyTorch的 nn.CrossEntropyLoss() 方法详解
torch.nn.CrossEntropyLoss用法(原理, nlp, cv例子)
andy dennis的博客
01-15 1万+
前言 早上想花一个小时参照网上其他教程，修改模型结构，写一个手写识别数字的出来，结果卡在了这个上面，loss一直降不下来，然后我就去查看了一下CrossEntropyLoss的用法，毕竟分类问题一般都用这个。 代码 引入一个库: import torch 假如是一个四分类任务，batch为2(只是为了显示简单，举个例子罢了) logists = torch.randn(2, 4, requires_grad=True) print(logists) 其实根据这个模型预测出来就是, 第一个样本预测
PyTorch损失函数之交叉熵损失函数nn.CrossEntropyLoss()
zyoung17的博客
09-06 2万+
PyTorch之nn.CrossEntropyLoss() nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作，这个函数可以用于多分类问题。具体的计算过程可以参考官网的公式或者一下这个链接。 https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html#torch.nn.CrossEntropyLoss https://blog.
【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍
sxl的博客
05-10 1万+
目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献 1 交叉熵的定义   交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异
pytorch多分类时，nn.CrossEntropyLoss()函数用法
06-13
在PyTorch中进行多分类任务时，可以使用`nn.CrossEntropyLoss()`函数来计算损失。`nn.CrossEntropyLoss()`函数结合了`nn.LogSoftmax()`和`nn.NLLLoss()`两个函数，可以同时完成softmax操作和交叉熵损失的计算。以下是`nn.CrossEntropyLoss()`函数的用法： ```python import torch.nn as nn loss_fn = nn.CrossEntropyLoss() # 假设模型输出为output，标签为target loss = loss_fn(output, target) ``` 其中，`output`是模型的输出，形状为`(batch_size, num_classes)`，表示每个样本属于每个类别的概率分布；`target`是标签，形状为`(batch_size,)`，表示每个样本的真实标签。 在调用`nn.CrossEntropyLoss()`函数时，它会自动对模型的输出进行softmax操作，并且将标签转换为整数形式。因此，我们不需要手动进行这些操作。损失值`loss`为一个标量，表示模型在这个batch上的平均交叉熵损失。 在训练过程中，我们可以通过反向传播求导来更新模型参数，使得损失值逐渐降低，最终使模型达到最优状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

听风吹等浪起

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值