nn.BCELoss()与nn.CrossEntropyLoss()的区别

nn.BCELoss()可以认为是nn.CrossEntropyLoss()的一个二分类的特例

1、但是在使用nn.BCELoss()时需要先加上一个Softmax()层，而使用nn.CrossEntropyLoss()时该函数会自动添加Softmax层。

2、BCELoss = - target * torch.log(pred) - (1-target) * torch.log(1-pred)因为log0 = -inf, log1 = 0, 可能会出现损失函数nan和inf的情况【在训练的过程中可能对梯度更新还会造成不少的影响】。BCELoss进行了截断来防止log()计算的时候可能出现问题，因为对于一个很小的数x而言，虽然理论上log(x)是能计算的，但是计算机有精度限制，所以没法实现这么理想的情况。因此将上面的代码加一行，：pred = torch.clamp(pred, min=1e-5, max=1-1e-5)就能解决inf和nan的问题了。