nn.BCELoss与nn.CrossEntropyLoss的区别

nn.BCELoss与nn.CrossEntropyLoss的区别

最近的工程涉及到超分辨率增强的相关研究，阅读SRGAN的源代码的时候发现，在损失函数的设置上，生成器和判别器分别用了不同的损失函数：

        self.criterionG = nn.MSELoss()
        self.criterionD = nn.BCELoss()

并且，判别器使用的是BCELoss，经过查询，把nn.BCELoss与nn.CrossEntropyLoss的区别在这里写一下，避免遗忘。

首先是共性：
BCELoss是Binary CrossEntropyLoss的缩写，BCELoss　CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。

区别：
使用nn.BCELoss需要在该层前面加上Sigmoid函数。
使用nn.CrossEntropyLoss会自动加上Softmax层。

此外，如果你也是从GitHub上Clone的PyTorch版本的SRGAN代码，需要注意在solver中的train函数中，判别器的Loss是直接使用的生成图与GroundTruth的像素MSE，而非原论文中的VGG提取特征MSE，即：

            # 这个地方(👇)是直接用生成器生成的图，和GroundTruth计算的MSE，而原论文里好像是用VGG提取特征再计算MSE
            mse_loss = self.criterionG(g_real, target)