BCELoss BCEWithLogitsLoss以及参数weight

在进行pytorch编写程序过程中，会发现loss有两种相对较相似的或是看起来就是一类loss的函数，即BCELoss和BCEWithLogitsLoss，下面简单的描述一下。

首先，BCELoss创建一个标准来度量目标和输出之间的二元交叉熵，即对一个batch里面的数据做二元交叉熵并且求平均。BCELoss函数的形式如下：

CLASS torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

其中，

weight： 给每个batch元素的权重，一般没用；不一般情况下非常有用，如果训练样本不均衡，或者输出重要性不同时可以设置权重。举例：

样本不均衡：在覆冰预测中，样本中覆冰数据和未覆冰数据比例未1:26，这时可以设置权重：

weight=torch.one(b,class)

weight[t=0]=1/26 #设置未覆冰权重为1/26

输出重要性不同：在目标检测中，检测到目标是背景的重要性较小

weight=torch.one(b,classes) #classes = 0:背景 1,2,3,4,5,6

weight[:,0]=1/10 #背景权重为1/10

size_average: 默认为True；
reduce: True/False 默认为True，对每个minibatch做；
reduction: 指定返回各损失值，批损失均值，批损失和，默认返回批损失均值，用的比较多的是这个参数。
再次，BCEWithLogitsLoss函数是将Sigmoid层和BCELoss合并在一个类中，在数值上比使用一个简单的Sigmoid和一个BCELoss，通过将操作合并到一个层中，其利用log-sum-exp技巧来实现数值稳定性。具体形式如下：

CLASStorch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)

实质上，BCELoss与BCEWithLogitsLoss差了一个Sigmoid函数。