在进行pytorch编写程序过程中,会发现loss有两种相对较相似的或是看起来就是一类loss的函数,即BCELoss和BCEWithLogitsLoss,下面简单的描述一下。
首先,BCELoss创建一个标准来度量目标和输出之间的二元交叉熵,即对一个batch里面的数据做二元交叉熵并且求平均。BCELoss函数的形式如下:
CLASS torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')
其中,
- weight: 给每个batch元素的权重,一般没用;
- size_average: 默认为True;
- reduce: True/False 默认为True,对每个minibatch做;
- reduction: 指定返回各损失值,批损失均值,批损失和,默认返回批损失均值,用的比较多的是这个参数。
再次,BCEWithLogitsLoss函数是将Sigmoid层和BCELoss合并在一个类中,在数值上比使用一个简单的Sigmoid和一个BCELoss,通过将操作合并到一个层中,其利用log-sum-exp技巧来实现数值稳定性。具体形式如下:
CLASStorch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)
实质上,BCELoss与BCEWithLogitsLoss差了一个Sigmoid函数。