【深度学习】Focal Loss 损失函数

1. Focal Loss 介绍

Focal Loss 是一种专门设计用于处理类别不平衡问题的损失函数，特别是在目标检测任务中表现出色。它最早由 Facebook AI Research (FAIR) 提出的，在物体检测中，如 RetinaNet，解决了正负样本严重不平衡的问题。
论文链接：Focal Loss for Dense Object Detection

2. 背景

在许多实际应用中，如目标检测，类别不平衡是一个常见问题。例如，在一个图像中，背景（负样本）通常占据大多数，而目标物体（正样本）很少。传统的交叉熵损失（Cross-Entropy Loss）可能会导致模型过度关注负样本，从而忽视正样本，特别是难以检测的正样本。Focal Loss 通过将注意力集中在难以分类的样本上，来解决这个问题。

3. Focal Loss 定义

Focal Loss 的公式如下：
$$FL(p_t)=-{\alpha }_t(1-p_t{)}^{\gamma }log(p_t)$$

其中：

• $p_t$ 是模型对目标类的预测概率。
• ${\alpha }_t$ 是平衡因子，用于调整正负样本之间的影响。
• $\gamma$ 是焦点因子，用于调整难易样本的权重。

(1) 交叉熵损失

Focal Loss 基于二分类交叉熵损失（Binary Cross-Entropy Loss）。传统的交叉熵损失可以表示为：
$$BCE(p_t)=-log(p_t)$$
其中，$p_t$ 是模型对正确类别的预测概率。

(2) 平衡因子 ${\alpha }_t$

平衡正负样本： ${\alpha }_t$ 用于平衡正负样本的影响，防止负样本过多对损失的贡献：

• 对于正样本，${\alpha }_t=\alpha$
• 对于负样本，${\alpha }_t=1-\alpha$

通常，$\alpha$ 的值在 [0,1] 之间，表示正负样本的权重比例。对于目标检测任务，$\alpha$可以设为正样本和负样本的比例。

(3) 焦点因子$\gamma$

焦点因子$\gamma$：通过引入焦点因子 $\gamma$，Focal Loss 调整了模型对易分类样本和难分类样本的关注程度。公式中的 $(1-p_t{)}^{\gamma }$部分是关键：

• 当预测概率 $p_t$ 接近 1（即样本容易分类），$(1-p_t{)}^{\gamma }$会非常小，减少了损失的贡献。
• 当预测概率 $p_t$ 接近 0（即样本难以分类），$(1-p_t{)}^{\gamma }$ 会变大，增加了损失的权重，从而让模型更加关注这些难分类的样本。

焦点因子 $\gamma$ 通常设为2，但可以根据具体问题调整。更大的 $\gamma$ 会使得模型更加专注于难分类样本。

4. 使用场景

• 目标检测：Focal Loss 最初用于目标检测任务，如 RetinaNet，因为目标检测中的正负样本严重不平衡。通过聚焦于难分类的目标，Focal Loss 提高了模型对目标的检测能力。
• 其他类别不平衡任务：Focal Loss 也可以应用于其他类别不平衡的分类任务，如文本分类或医学图像分析。

5. Focal Loss代码实现(Pytorch)

# -*- coding: utf-8 -*-
# @time: 2024/8/21 16:54

import torch
import torch.nn as nn

# Focal Loss 的 PyTorch 示例实现
class FocalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=2, reduction='mean'):
        super(FocalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.reduction = reduction

    def forward(self, inputs, targets):
        
        # 计算 logits 的 sigmoid 概率
        p = torch.sigmoid(inputs)

        # 计算交叉熵损失
        bce_loss = nn.functional.binary_cross_entropy_with_logits(inputs, targets, reduction='none')

        # 计算 Focal Loss
        alpha = self.alpha * targets + (1 - self.alpha) * (1 - targets)
        focal_loss = alpha * ((1 - p) ** self.gamma) * bce_loss

        # 根据 reduction 参数进行损失归约
        if self.reduction == 'mean':
            return focal_loss.mean()
        elif self.reduction == 'sum':
            return focal_loss.sum()
        else:
            return focal_loss


# 使用示例
criterion = FocalLoss(alpha=0.25, gamma=2)
inputs = torch.randn(4, requires_grad=True)
targets = torch.empty(4).random_(2)
loss = criterion(inputs, targets)

print(inputs)
print(targets)
print(loss)

输出结果：

tensor([-0.7896, -0.1952, -0.7318, -2.2900], requires_grad=True)
tensor([0., 0., 0., 1.])
tensor(0.2236, grad_fn=<MeanBackward0>)

6. 总结

Focal Loss 是一种处理类别不平衡问题的有效方法，通过引入焦点因子和调整样本权重，使得模型对难以分类的样本更加关注，从而提高分类性能。它特别适用于目标检测和其他类别不平衡的任务。