Pytorch —— BCEWithLogitsLoss()的一些问题

最新推荐文章于 2024-08-21 14:49:23 发布

不想用真名了

最新推荐文章于 2024-08-21 14:49:23 发布

阅读量3.7k

点赞数 2

分类专栏： Pytorch

本文链接：https://blog.csdn.net/weixin_44405644/article/details/104908909

版权

本文介绍了Pytorch中的BCEWithLogitsLoss损失函数，对比了自编写的交叉熵损失函数，强调了BCEWithLogitsLoss在处理可能产生的NaN值上的优势，适合于神经网络训练中的特定场景，并提醒了输入数据的格式要求。

摘要由CSDN通过智能技术生成

一、等价表达

pytorch：
```
torch.sigmoid() + torch.nn.BCELoss()
```

自己编写

def ce_loss(y_pred, y_train, alpha=1):
    
    p = torch.sigmoid(y_pred)
    # p = torch.clamp(p, min=1e-9, max=0.99)  
    loss = torch.sum(- alpha * torch.log(p) * y_train \
           - torch.log(1 - p) * (1 - y_train))/len(y_train)
    return loss~

验证

import torch
import torch.nn as nn


torch.cuda.manual_seed(300)       # 为当前GPU设置随机种子
torch.manual_seed(300)            # 为CPU设置随机种子

def ce_loss(y_pred, y_train, alpha=1):
   # 计算loss
   p = torch