pytorch交叉熵使用方法

交叉熵相关理论网上好多,这篇只记录一下在分割中怎么用torch.nn.BCELoss 和torch.nn.CrossEntropyLoss,也方便自己以后使用。

1、二分类用nn.BCELoss


output:

    定义:  网络的输出 
    数值:  需要经过sigmoid()函数归一化到[0,1]
    shape:  [bs,*]          #   *表示长宽高等任意维度
target: 

    定义:  标签
    数值:  0或者1 
    shape:  [bs,*], 与output相同
 

loss_func = nn.BCELoss()   #定义交叉熵损失函数
loss = loss_func(output, target)   #计算loss

资料参考:https://pytorch.org/docs/master/nn.html#bceloss

2、多分类用nn.CrossEntropyLoss

 

output:

    定义:  网络的输出 
    数值:  任意范围, 不需要添加softmax(), sigmoid() 或者 argmax()等函数。 
    shape:  [bs, C,*]            # C表示类别数, *表示长宽高等任意维度
target: 

    定义:  标签
    数值:  0,1,..., C-1.          #如4分类,则数值为0,1,2,3
    shape:  [bs,*],                  #比output少了通道维,不需要转为onehot类型

loss_func = nn.CrossEntropyLoss()     #定义损失函数
output = loss_func(output, target)     #计算loss

资料参考: https://pytorch.org/docs/master/nn.html#crossentropyloss

 

ps:加权暂时未尝试,以后补充,上为个人用法,如有错误请多指教。

  • 5
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
PyTorch中,交叉熵损失函数(CrossEntropyLoss)用于度量分类问题中模型输出和真实标签之间的差异。它结合了softmax函数和交叉熵函数的计算。在这个过程中,首先将模型的输出通过softmax函数转化为概率分布,然后将转化后的概率分布与真实标签计算交叉熵损失。这个过程可以通过PyTorch中的CrossEntropyLoss()函数来实现。 使用CrossEntropyLoss()函数时,你需要注意以下几点: 1. 通常情况下,模型的输出是一个未经过softmax处理的向量。在使用CrossEntropyLoss()之前,需要使用softmax函数将其转化为概率分布。 2. 真实标签通常以整数形式给出,表示类别的索引值。在计算交叉熵损失时,PyTorch会将其转化为one-hot编码形式。 3. CrossEntropyLoss()函数会自动将模型的输出和真实标签进行计算,并返回一个标量,表示模型的输出和真实标签之间的差异。你可以通过调用.backward()方法来计算梯度,并使用优化算法来更新模型的参数。 通过使用CrossEntropyLoss()函数,我们可以更方便地计算模型在分类问题中的损失,并借助梯度下降算法来优化模型的训练过程。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [交叉熵的数学原理及应用——pytorch中的CrossEntropyLoss()函数](https://blog.csdn.net/weixin_30691871/article/details/95510534)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [解决pytorch 交叉熵损失输出为负数的问题](https://download.csdn.net/download/weixin_38611812/12849994)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值