YOLOv10改进策略【损失函数篇】| Slide Loss，解决简单样本和困难样本之间的不平衡问题

一、本文介绍

本文记录的是改进YOLOv10的损失函数，将其替换成Slide Loss，并详细说明了优化原因，注意事项等。Slide Loss函数可以有效地解决样本不平衡问题，为困难样本赋予更高的权重，使模型在训练过程中更加关注困难样本。若是在自己的数据集中发现容易样本的数量非常大，而困难样本相对稀疏，可尝试使用Slide Loss来提高模型在处理复杂样本时的性能。

---

---

二、Slide Loss原理

2.1 IoU含义

IoU(P, G) = area(P∩G) / area(G)，其中P是预测框，G是真实框（ground truth）。IoU的值在[0, 1]之间。

IoU是预测框与真实框的交集面积与并集面积之比。它用于衡量预测框与真实框的重合程度。

2.2 原理

1. 样本分类依据：
   • Slide Loss函数基于预测框和真实框的IoU大小来区分容易样本和困难样本。
   • 为了减少超参数，将所有边界框的IoU值的平均值作为阈值µ，小于µ的被视为负样本，大于µ的为正样本。
2. 强调边界样本：
   • 但处于边界附近的样本由于分类不明确，往往会遭受较大损失。为了解决这个问题，希望模型能够学习优化这些样本，并更充分地利用这些样本训练网络。
   • 首先将样本通过参数µ分为正样本和负样本，然后通过一个加权函数Slide来强调处于边界的样本。
   • Slide加权函数表达式为：
     $$f(x)=\{\begin{array}{ll}1& x\le \mu -0.1\\ e^{1-\mu }& \mu <x<\mu -0.1\\ e^{1-x}& x\ge u\end{array}$$

2.2 优势

1. 解决样本不平衡问题：
   • 在大多数情况下，容易样本的数量非常大，而困难样本相对稀疏，Slide Loss函数可以有效地解决样本不平衡问题，使模型在训练过程中更加关注困难样本。
2. 自适应学习阈值：
   • 通过自动计算所有边界框的IoU值的平均值作为阈值µ，减少了人为设置超参数的难度，提高了模型的适应性。
3. 提高模型性能：
   • 根据论文实验结果，Slide函数在中等难度和困难子集上提高了模型的性能，使模型能够更好地学习困难样本的特征，提高了模型的泛化能力。

论文：https://arxiv.org/pdf/2208.02019
源码：https://github.com/Krasjet-Yu/YOLO-FaceV2/blob/d9c8f24d5dba392ef9d6b350a7c50b850051b32b/utils/loss.py#L16

---

三、Slide Loss的实现代码

Slide Loss的实现代码如下：

import math
class SlideLoss(nn.Module):
    def __init__(self, loss_fcn):
        super(SlideLoss, self).__init__()
        self.loss_fcn = loss_fcn
        self.reduction = loss_fcn.reduction
        self.loss_fcn.reduction = 'none'  # required to apply SL to each element
 
    def forward(self, pred, true, auto_iou=0.5):
        loss = self.loss_fcn(pred, true)
        if auto_iou < 0.2:
            auto_iou = 0.2
        b1 = true <= auto_iou - 0.1
        a1 = 1.0
        b2 = (true > (auto_iou - 0.1)) & (true < auto_iou)
        a2 = math.exp(1.0 - auto_iou)
        b3 = true >= auto_iou
        a3 = torch.exp(-(true - 1.0))
        modulating_weight = a1 * b1 + a2 * b2 + a3 * b3
        loss *= modulating_weight
        if self.reduction == 'mean':
            return loss.mean()
        elif self.reduction == 'sum':
            return loss.sum()
        else:  # 'none'
            return loss

---

四、添加步骤

4.1 修改ultralytics/utils/loss.py

此处需要修改的文件是ultralytics/utils/loss.py

loss.py中定义了模型的损失函数和计算方法，我们想要加入新的损失函数就只需要将代码放到这个文件内即可。

Slide Loss添加后如下：

4.2 Slide Loss的调用

在loss.py中的v8DetectionLoss函数中添加如下代码，使模型调用此Slide Loss函数。

self.bce = SlideLoss(nn.BCEWithLogitsLoss(reduction="none"))

此时再次训练模型便会使用Slide Loss计算模型的损失函数。