Learning Deep Representation for Imbalanced Classification翻译阅读

Learning Deep Representation for Imbalanced Classification

不平衡分类的深度表示学习
CVPR2016的文章
论文下载: https://ieeexplore.ieee.org/document/7780949
引用量谷歌学术475

接着边翻译边思考吧

摘要

视觉域的数据通常表现出高度倾斜的类分布，即大多数数据属于少数多数类，而少数类只包含少量实例。为了缓解这一问题，基于深度卷积神经网络(CNN)的现代分类方法通常遵循经典策略，如类重新抽样或代价敏感训练。在本文中，我们进行了广泛而系统的实验，以验证这些经典方案在类别不平衡数据上的表示学习的有效性。我们进一步证明，通过加强一个深度网络来保持类间和类间的边缘，可以学习到更有区别的深度表示。这种更严格的约束有效地减少了局部数据邻域内固有的类不平衡。我们证明，通过五元组实例采样和相关的三头部铰链损耗，边界可以很容易地部署在标准深度学习框架中。通过我们的方法学习到的表示，结合简单的k-最近邻(kNN)算法，在分类分布不平衡的高、低水平视觉分类任务上都比现有方法有显著的改进。

1. Introduction

在计算机视觉领域中，许多数据自然表现出类分布的不平衡。例如，在人脸验证中，正面孔对和负面孔对的数量是高度倾斜的，因为在数据收集中，不同身份(负)的面孔比身份匹配的面孔(正)的面孔更容易获得。在人脸属性识别[25]中，在web图像中发现具有“正常鼻子”属性的人比具有“大鼻子”属性的人更容易。对于图像边缘检测，图像边缘结构本质上遵循幂律分布，例如，水平和垂直边缘的数量超过“Y”形状。如果不处理失衡问题，传统方法往往偏向于多数群体，而对少数群体的准确性较差[18]。

深度表示学习由于其较高的学习能力，近年来取得了很大的成功，但仍然无法摆脱数据不平衡的负面影响。为了对抗负面影响，人们往往从几个可用的选项中选择，这些选项在过去已被广泛研究[7,9,11,17,18,30,40,41,46,48]。第一种选择是重新抽样，其目的是通过对多数群体的抽样不足或对少数群体的抽样过多(或两者都有)来平衡群体的先验性。例如，Oquab等人[32]重新采样前景和背景图像块的数量，以学习卷积神经网络(CNN)进行目标分类。第二种选择是代价敏感学习，它赋予少数群体比多数群体更高的错误分类代价。在图像边缘检测中，如Shen等人[35]对softmax loss进行正则化处理，以应对边缘类分布不均衡的问题。还有其他选择，如学习率适应[18]。

这些方法是深度表征学习中处理不平衡数据最有效的方法吗?对于所谓的“浅”模型[12]，上述选项已经得到了很好的研究，但对于深度表征学习，还没有系统地研究它们的含义。重要的是，这种方案有一些固有的局限性。例如，过采样很容易引入不受欢迎的噪声和过拟合风险，而欠采样通常是首选[11]，但可能会删除有价值的信息。这些干扰因素同样适用于深度表征学习。

在本文中，我们希望研究一种更好的方法来学习给定类别不平衡数据的深度表示。我们的方法的动机是观察到，少数群体通常包含极少数具有高度视觉可变性的实例。稀缺性和高可变性使得这些实例的真正邻居很容易被其他冒充者最近的邻居入侵1。为此，我们提出用CNN学习一个嵌入f(x)∈rd来改善这种入侵。CNN通过一个新的五元组采样方案和相关的三头部铰链损耗来训练实例。学习的嵌入产生的特征不仅在同类簇中保持局部性，而且在类之间保持区别。我们证明，与现有的三重态损失相比，这种“五元态损失”引入了一个更严格的约束，以减少局部数据邻域的不平衡。我们还研究了经典的课堂再抽样和成本敏感学习方案的有效性。我们的主要贡献如下:(1)我们展示了如何学习非平衡数据分类的深度特征嵌入，这在文献中得到了充分的研究;(2)提出了一种新的具有三header损失的五元组抽样方法，该方法保持了类间的局部性和类间的区分性。使用学习到的特征，我们表明，分类可以简单地通过快速聚类的kNN搜索和局部大裕度决策来实现。该方法被称为大边缘局部嵌入(LMLE)-kNN，在大规模不平衡的二元人脸属性和(多类)图像边缘分类任务中取得了最先进的结果。

2. Related Work

以往解决班级失衡问题的努力主要可以分为两大类:数据重抽样[7,11,17,18,30]和代价敏感学习[9,40,41,46,48]。前者的目的是改变训练数据分布，以学习对多数和少数类同样好的分类器，通常通过随机欠采样和过采样技术。后者不是在数据层面操纵样本，而是在算法层面通过调整误分类成本进行操作。在[18]中可以找到一个全面的文献调查。

基于复制的随机过采样的一个众所周知的问题是它有过拟合的倾向。更根本的是，它实际上并没有增加任何信息，而且无法解决基本的“数据缺乏”问题。为了解决这个问题，SMOTE[7]通过插值相邻的少数类实例创建了新的非复制示例。SMOTE的几个变体[17,30]随后进行了改进。然而，通过合成噪声和边界例子，他们扩大的决策区域仍然容易出错。因此，尽管可能会删除潜在的有价值的信息，但低采样通常比过采样[11]更可取。成本敏感的替代方案通过直接对错误分类的少数族裔施加更重的惩罚来避免这些问题。例如，在[40]中，经典的支持向量机对代价敏感，以改进对高度倾斜数据集的分类。[46]将成本敏感性与集成方法相结合，进一步提高分类精度。许多其他方法都遵循这种设计分类器集成以对抗不平衡的做法(例如[9,41])，提高[41]提供了一种通过更新示例权值嵌入成本的简单方法。Chen等人的[9]采用了袋装，它比增压更不容易受到噪声的影响，并生成了一个代价敏感的随机森林版本。

以上的工作都没有解决使用CNN的课堂不平衡学习。它们依靠浅薄的模型和手工制作的功能。据我们所知，只有少数的研究[21,22,48]通过深度学习来实现不平衡分类。Jeatrakul等人[21]将互补神经网络作为一种欠采样技术，并将其与SMOTE过采样相结合来平衡训练数据。Zhou和Liu[48]研究了代价敏感神经网络训练中的数据重采样。Khan等人[22]进一步寻求对类别敏感的成本和深度特征的联合优化。这些工作可以看作是对现有不平衡学习技术的自然扩展，而忽略了鉴别不平衡数据