PyTorch 分类任务的softmax以及CrossEntropyLoss

多分类任务不需要在输出层使用softmax函数

今天在看nn.CrossEntropyLoss()的文档的时候看到两句话：
1.The input is expected to contain raw, unnormalized scores for each class.
input 的维度要求是 [batch, C]，其中C是分类的总数
2.target 的维度直接是 batch就行了，而不需要进行 one-hot
猛然醒悟，原来CorssEntropyLoss()函数里面会自动调用softmax函数
而不需要我们在网络的输出层套用softmax函数，只需输出原始的logits即可
原来我之前一直搞错了！

softmax()函数到底是干嘛的？

它可以将一个向量，例如 [1, 2, 3, 4]变成和为1的概率值
具体做法是将向量的每一个元素都求一下指数值，比如e, e平方, e立方，e4次方
然后将这四个值求和，每个值与和的比值就变成了对应的概率预测值

nn.CrossEntropyLoss()会自动调用这个函数，
所以我们只需要将网络的原始输出logits和标签labels直接放入计算即可

nn.BCELoss() 即 Binary Cross Entropy Loss

nn.BCELoss()不像nn.CrossEntropyLoss()一样会自动调用softmax()函数
所以我们需要手动过一遍softmax然后才能放进BCELoss()

不过，何必搞得这么麻烦，二分类任务也使用CrossEntropyLoss就完事了！！！