【PyTorch】两种常用的交叉熵损失函数BCELoss和BCEWithLogitsLoss

定义区别

在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题。区别在于BCELoss的输入需要先进行Sigmoid处理，而BCEWithLogitsLoss则是将Sigmoid和BCELoss合成一步，也就是说BCEWithLogitsLoss函数内部自动先对output进行Sigmoid处理，再对output和target进行BCELoss计算。

代码示例

下面为一个简单的示例：

import torch
import random
from torch import nn

random.seed(0)
torch.manual_seed(0)
input = torch.randn(3, 3)
out = torch.sigmoid(input)
target = torch.FloatTensor([[0, 1, 1],
                            [0, 0, 1],
                            [1, 0, 1]])
l1 = nn.BCELoss()
loss1 = l1(out, target) 
print(loss1)  # tensor(1.1805)

input2 = torch.FloatTensor([[1.5410, -0.2934, -2.1788],
                            [0.5684, -1.0845, -1.3986],
                            [0.4033,  0.8380, -0.7193]])
l2 = nn.BCEWithLogitsLoss()
loss2 = l2(input2, target)
print(loss2)  # tensor(1.1805)
# 可以发现loss1和loss2相等

关键参数

BCELoss和BCEWithLogitsLoss还提供了两个重要参数：

• weight：可用于控制各样本的权重，常用作对对齐后的数据进行mask操作（设为0）

• reduction：控制损失输出模式。设为"sum"表示对样本进行求损失和；设为"mean"表示对样本进行求损失的平均值；而设为"none"表示对样本逐个求损失，输出与输入的shape一样。
  此外BCEWithLogitsLoss还提供了参数pos_weight用于设置损失的class权重，用于缓解样本的不均衡问题