nn.BCELoss总结

本章内容

• 版本
  • pytorch 1.0

nn.BCELoss

• 用于计算预测值和真实值之间的二元交叉熵损失(Binary Cross Entropy)

• 主要用于多标记任务（一个样本对应多个类别）

• 调用时输入参数：

  • Input: $(N,\ast )$, $\ast$表示可有任意个数的额外维度。（已经过Sigmoid）
  • Target:$(N,\ast )$, 与Input的维度相同。

• 数学公式
  l ( x , y ) = L = { l 1 , … , l N } T , l n = − w n [ y n ⋅ log ⁡ x n + ( 1 − y n ) ⋅ log ⁡ ( 1 − x n ) ] l(x,y) = L = \{l_1,\dots,l_N\}^T, l_n=-w_n[y_n \cdot \log{x_n} + (1-y_n)\cdot \log(1-x_n)] l(x,y)=L={l1​,…,lN​}T,ln​=−wn​[yn​⋅logxn​+(1−yn​)⋅log(1−xn​)]
  其中，$N$表示batch大小。

• 实例

torch.manual_seed(0)
a = torch.rand(3,5)
b = torch.rand(3,5)
loss = nn.BCELoss()
print(loss(a,b)) # tensor(0.7726)
def com(x,y):
    return -(y * torch.log(x) + (1-y)*torch.log(1-x))
num = 0
for i in range(a.size(0)):
    for j in range(a.size(1)):
        num += com(a[i,j], b[i,j])
num/=(a.size(0) * a.size(1))
print(num) # tensor(0.7726)

nn.BCEWithLogitsLoss

• 依次执行Sigmoid和nn.BCELoss两个操作

参考：

1. pytorch文档