【MMDetection 系列：三】Loss 函数详解 + Pytorch 实现

Reference

https://zhuanlan.zhihu.com/p/40284001
https://blog.csdn.net/weixin_41665360/article/details/100126744
https://github.com/open-mmlab/mmdetection
https://github.com/thangvubk/Cascade-RPN （based on mmdetection framework）
Deep Learning v1 笔记

一个函数能够作为损失函数，要符合以下两个特性：

• 非负
• 当实际输出接近预期，那么损失函数应该接近0

基本 loss

MSE —— 回归loss

参考KL散度

MSE 回归loss ，更适合用来预测值。而CE是衡量两个分布距离的指标

SSE

和方差

• 该参数计算的是拟合数据和原始对应点的误差的平方和

是真实数据， 是拟合的数据， ，从这里可以看出SSE接近于0，说明模型选择和拟合更好，数据预测也越成功。

MSE

均方方差

• 预测数据和原始数据对应点误差的平方和的均值
  

缺点

• 其偏导值在输出概率值接近0或者接近1的时候非常小，这可能会造成模型刚开始训练时，偏导值几乎消失。

import torch.nn.functional as F
mse_loss = weighted_loss(F.mse_loss)

RMSE

也叫回归系统的拟合标准差，是MSE的平方根，计算公式为：

0-1 Loss

0-1损失函数直接对应分类判断错误的个数，但是它是一个非凸函数，不太适用.

hinge loss

Hinge Loss常作为 SVM 的损失函数

L1 loss

L2 Loss

L2-loss 比 L1-loss 好，因为L2-loss的收敛速度要比L1-loss要快得多。

缺点：

• 当存在离群点（outliers)的时候，这些点会占loss的主要组成部分
  比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1左右，显然loss值主要由1000主宰

不管是L1损失函数，还是L2损失函数，都有两大缺陷：

• 假定噪声的影响和图像的局部特性是独立的。然而，人类的视觉系统对噪声的感知受局部照度、对比、结构的影响。
• 假定噪声接近高斯白噪声，然而这一假定并不总是成立。

分类 loss CE

CE

Cross - Entropy

交叉熵

表示样本， 表示预测的输出， 表示实际的输出， 表示样本总数量

• 对数似然函数，可用于二分类和多分类任务中
• 二分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）
• 多分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）

交叉熵

def cross_entropy(pred, label, weight=None, reduction='mean', avg_factor=None):
    # element-wise losses
    loss = F.cross_entropy(pred, label, reduction='none')

    # apply weights and do the reduction
    if weight is not None:
        weight = weight.float()
    loss = weight_reduce_loss(
        loss, weight=weight, reduction=reduction, avg_factor=avg_factor)

    return loss

Binary CE loss

二分类

def binary_cross_entropy(pred,
                         label,
                         weight=None,
                         reduction='mean',
                         avg_factor=None):
    if pred.dim() != label.dim():
        label, weight = _expand_binary_labels(label, weight, pred.size(-1))

    # weighted element-wise losses
    if weight is not None:
        weight = weight.float()
    loss = F.binary_cross_entropy_with_logits(pred, label.float(), weight, reduction='none')
    # do the reduction for the weighted loss
    loss = weight_reduce_loss(loss, reduction=reduction,avg_factor=avg_factor)

    return loss

Balanced CE loss

类别不平衡问题对最终training loss的不利影响，我们自然会想到可通过在loss公式中使用与目标存在概率成反比的系数对其进行较正

Focal Loss