带权重的交叉熵_互补交叉熵解决图像分类中的失衡问题，多种基准网络均有效！...

Imbalanced Image Classification with Complement Cross Entropy

摘要

依赖于大规模类别平衡数据集，深度学习在计算机视觉应用中取得成功。但是失衡类别分布导致深度学习模型性能下降，约束其应用。为了解决这个问题，我们关注于交叉熵的研究:它通常会忽略错误类的输出分数。在这项工作中，我们发现抵消不正确类别的预测概率有助于提高不平衡图像分类的预测准确性。基于这一发现，本文提出了一种简单而有效的损失，称为互补交叉熵(CCE)。我们的损失通过消除不正确的类的概率，而无需额外的培训程序，使真实类在softmax概率方面压倒了其他类。随之而来的是，这种损失有利于模型学习关键信息，尤其是从少数群体的样本中学习关键信息。对于不平衡的类别分配，它可确保获得更准确，更可靠的分类结果。与其他最新方法相比，在不平衡数据集上进行的大量实验证明了我们方法的有效性。

1.简介

深度学习在图像分类，目标检测，文本识别等任务中取得巨大进步。这些应用依赖于大规模数据和大量的标注。但是各种新兴数据集通常都表现出极其不平衡的类分布，这在很大程度上限制了DNN模型的功能。尽管现有现实世界数据中的这种不平衡分布显然是一个严峻的挑战，但尚未进行大量研究。为解决这个问题，常见的策略是重采样数据集，例如对少量样本过采样[7,12,29,44,28,6,17,33,19]，对大量样本欠采样[10,42,11,18,25],以及二者混合使用[3,43,38,45]。另一种方法是采用成本敏感学习方法，例如对样本损失重新加权，权重系数与类数量反比，通过相对高的损失对难分样本(数量少的类别)进行惩罚[24,34,32,39]。但是这些方法忽略了一个事实是，数量少的类别可能包含噪声或者错误标注。这意味着训练会关注于少量类别而不是多数类别，这可能导致模型性能在泛化性上下降。为了解决这个问题，我们回归交叉熵损失作为普通目标函数，观察到在不平衡数据集上的下降。为定义交叉熵，令代表one-hot标签的第i个向量，是输入为时每一个类别的预测概率。那么交叉熵定义如公式(1)所示:

其中N是一个mini-batch中样本数，K是类别数，g代表真实类别下标，表示第i个样本预测准确的概率。尽管交叉熵损失广泛应用于深度学习分类任务中，它有一个缺陷:所有softmax概率在不正确的类别上都视为0，因为总是0.这意味着在交叉熵中被忽略，因此不准确的预测概率可能产生累积误差。为防止这种错误，补充目标训练(COT)是由Chen等人提出的，其核心思想是在训练期间均匀地抑制错误类别上的softmax概率[8]