Focal Loss 损失函数
1. Focal Loss 介绍
Focal Loss 是一种专门设计用于处理类别不平衡问题的损失函数,特别是在目标检测任务中表现出色。它最早由 Facebook AI Research (FAIR) 提出的,在物体检测中,如 RetinaNet,解决了正负样本严重不平衡的问题。
论文链接:Focal Loss for Dense Object Detection
2. 背景
在许多实际应用中,如目标检测,类别不平衡是一个常见问题。例如,在一个图像中,背景(负样本)通常占据大多数,而目标物体(正样本)很少。传统的交叉熵损失(Cross-Entropy Loss)可能会导致模型过度关注负样本,从而忽视正样本,特别是难以检测的正样本。Focal Loss 通过将注意力集中在难以分类的样本上,来解决这个问题。
3. Focal Loss 定义
Focal Loss 的公式如下:
F
L
(
p
t
)
=
−
α
t
(
1
−
p
t
)
γ
l
o
g
(
p
t
)
FL(p_t) = -\alpha _t(1-p_t)^\gamma log(p_t)
FL(pt)=−αt(1−pt)γlog(pt)
其中:
- p t p_t pt 是模型对目标类的预测概率。
- α t \alpha _t αt 是平衡因子,用于调整正负样本之间的影响。
- γ \gamma γ 是焦点因子,用于调整难易样本的权重。
(1) 交叉熵损失
Focal Loss 基于二分类交叉熵损失(Binary Cross-Entropy Loss)。传统的交叉熵损失可以表示为:
B
C
E
(
p
t
)
=
−
l
o
g
(
p
t
)
BCE(p_t) = -log(p_t)
BCE(pt)=−log(pt)
其中,
p
t
p_t
pt 是模型对正确类别的预测概率。
(2) 平衡因子 α t \alpha_t αt
平衡正负样本: α t \alpha_t αt 用于平衡正负样本的影响,防止负样本过多对损失的贡献:
- 对于正样本, α t = α \alpha_t = \alpha αt=α
- 对于负样本, α t = 1 − α \alpha_t = 1-\alpha αt=1−α
通常, α \alpha α 的值在 [0,1] 之间,表示正负样本的权重比例。对于目标检测任务, α \alpha α可以设为正样本和负样本的比例。
(3) 焦点因子 γ \gamma γ
焦点因子 γ \gamma γ:通过引入焦点因子 γ \gamma γ,Focal Loss 调整了模型对易分类样本和难分类样本的关注程度。公式中的 ( 1 − p t ) γ (1-p_t)^\gamma (1−pt)γ部分是关键:
- 当预测概率 p t p_t pt 接近 1(即样本容易分类), ( 1 − p t ) γ (1-p_t)^\gamma (1−pt)γ会非常小,减少了损失的贡献。
- 当预测概率 p t p_t pt 接近 0(即样本难以分类), ( 1 − p t ) γ (1-p_t)^\gamma (1−pt)γ 会变大,增加了损失的权重,从而让模型更加关注这些难分类的样本。
焦点因子 γ \gamma γ 通常设为2,但可以根据具体问题调整。更大的 γ \gamma γ 会使得模型更加专注于难分类样本。
4. 使用场景
- 目标检测:Focal Loss 最初用于目标检测任务,如 RetinaNet,因为目标检测中的正负样本严重不平衡。通过聚焦于难分类的目标,Focal Loss 提高了模型对目标的检测能力。
- 其他类别不平衡任务:Focal Loss 也可以应用于其他类别不平衡的分类任务,如文本分类或医学图像分析。
5. Focal Loss代码实现(Pytorch)
# -*- coding: utf-8 -*-
# @time: 2024/8/21 16:54
import torch
import torch.nn as nn
# Focal Loss 的 PyTorch 示例实现
class FocalLoss(nn.Module):
def __init__(self, alpha=0.25, gamma=2, reduction='mean'):
super(FocalLoss, self).__init__()
self.alpha = alpha
self.gamma = gamma
self.reduction = reduction
def forward(self, inputs, targets):
# 计算 logits 的 sigmoid 概率
p = torch.sigmoid(inputs)
# 计算交叉熵损失
bce_loss = nn.functional.binary_cross_entropy_with_logits(inputs, targets, reduction='none')
# 计算 Focal Loss
alpha = self.alpha * targets + (1 - self.alpha) * (1 - targets)
focal_loss = alpha * ((1 - p) ** self.gamma) * bce_loss
# 根据 reduction 参数进行损失归约
if self.reduction == 'mean':
return focal_loss.mean()
elif self.reduction == 'sum':
return focal_loss.sum()
else:
return focal_loss
# 使用示例
criterion = FocalLoss(alpha=0.25, gamma=2)
inputs = torch.randn(4, requires_grad=True)
targets = torch.empty(4).random_(2)
loss = criterion(inputs, targets)
print(inputs)
print(targets)
print(loss)
输出结果:
tensor([-0.7896, -0.1952, -0.7318, -2.2900], requires_grad=True)
tensor([0., 0., 0., 1.])
tensor(0.2236, grad_fn=<MeanBackward0>)
6. 总结
Focal Loss 是一种处理类别不平衡问题的有效方法,通过引入焦点因子和调整样本权重,使得模型对难以分类的样本更加关注,从而提高分类性能。它特别适用于目标检测和其他类别不平衡的任务。