BCEloss「 PyTorch 深度学习实践 第6讲」2023年12月5日

关于BCE loss写了几行代码，帮助理解。

import math
import torch
pred = torch.tensor([[-0.2],[0.2],[0.8]])
target = torch.tensor([[0.0],[0.0],[1.0]])
 
sigmoid = torch.nn.Sigmoid()
pred_s = sigmoid(pred)
print(pred_s)
"""
pred_s 输出tensor([[0.4502],[0.5498],[0.6900]])
0*math.log(0.4502)+1*math.log(1-0.4502)
0*math.log(0.5498)+1*math.log(1-0.5498)
1*math.log(0.6900) + 0*log(1-0.6900)
"""
result = 0
i=0
for label in target:
    if label.item() == 0:
        result +=  math.log(1-pred_s[i].item())
    else:
        result += math.log(pred_s[i].item())
    i+=1
result /= 3
print("bce：", -result)
loss = torch.nn.BCELoss()
print('BCELoss:',loss(pred_s,target).item())

在您提供的代码中，`torch.nn.BCELoss`是用于二分类问题的损失函数，它计算二进制交叉熵损失。然而，`size_average`参数在PyTorch 1.0版本之后已被弃用，不再使用。

在较新的PyTorch版本中，您可以使用`torch.nn.BCELoss`的`reduction`参数来控制损失的计算方式。`reduction`参数可选的取值包括：

- `'none'`：不进行任何降维操作，返回每个样本的损失值（默认值）。
- `'mean'`：对所有样本的损失值进行求平均。
- `'sum'`：对所有样本的损失值进行求和。

以下是一个示例，展示了如何使用`torch.nn.BCELoss`并指定`reduction`参数的值：

```python
import torch
import torch.nn as nn

# 创建二分类问题的标签和预测
labels = torch.tensor([0, 1, 1, 0], dtype=torch.float32)
predictions = torch.tensor([0.2, 0.8, 0.6, 0.3], dtype=torch.float32)

# 创建二分类交叉熵损失函数
criterion = nn.BCELoss(reduction='mean')

# 计算损失
loss = criterion(predictions, labels)
print(loss)
```

在上述示例中，我们创建了一个二分类问题的标签和预测，并使用`nn.BCELoss`创建了二分类交叉熵损失函数。通过指定`reduction='mean'`，我们将损失进行平均计算。您可以根据需要选择合适的`reduction`参数值。

请注意，`size_average=True`已被弃用，不再使用。如果您使用的是较新版本的PyTorch，建议使用`reduction`参数来控制损失的计算方式。