交叉熵、二分类损失函数的区别——nn.CrossEntropyLoss()、nn.BCELoss()和 nn.BCEWithLogitsLoss()

import torch
import torch.nn as nn
import math
entroy=nn.CrossEntropyLoss()
input=torch.Tensor([[-0.7715, -0.6205,-0.2562]])
target = torch.tensor([0])
print(target)

tensor([0])

output = entroy(input, target)
print(output)

tensor(1.3447)
这里target只需要给定一个值就可以了，计算的时候只有对应类别的softmax之后的值参与ln（）运算，我们也可以假设target属于第2类，那么target为1，即

target1 = torch.tensor([1])
output1=entroy(input, target1)
print(output1)

tensor(1.1937)
具体的过程是如何实现的呢？
首先我们得到的input是需要进行softmax（）操作，然后根据target的索引确定哪个值需要继续后续的ln（）操作。（注意：这里不是log（）操作）
下面介绍nn.BCELoss()方法：

input=torch.randn(1,3)
print(input)

tensor([[ 0.0013, -0.1416, 0.1246]])

m=nn.Sigmoid()
input=m(input)
print(input)

tensor([[0.5003, 0.4647, 0.5311]])

target=torch.FloatTensor([[0,1,0]])
out=bce(input,target)
print(out)

tensor(0.7392)
它这里的标签不是一个值，针对每一个**sigmoid（）**处理过的数据都有其类别，target只能取0或者1，必须保证类别信息和输入的数据信息保持一致，这一点与nn.CrossEntroyLoss()明显不同，计算方法如下：
bce1=0*ln（0.5003）+（1-0）ln（1-0.5003）
bce2=1ln（0.4647）+（1-1）ln（1-0.4647）
bce3=0ln（0.5311）+（1-0）ln（1-0.5311）
bce=(-1)（bce1+bce2+bce3）/3 = 0.7392
最后介绍nn.BCEWithLogitsLoss()方法，它与上面的nn.BCELoss()差别不大，已经把Sigmoid（）集成在里面了，不需要单独定义Sigmoid（）操作了

>>> Newbce= nn.BCEWithLogitsLoss()
>>> input=torch.randn(1,3)
>>> input
tensor([[-0.4616,  2.4456, -0.6359]])
>>> target
tensor([[0., 1., 0.]])
>>> output=Newbce(input,target)
>>> output
tensor(0.3323)

具体计算方法参考bce给出的公式即可