MsVAA：Deep Imbalanced Attribute Classification using Visual Attention Aggregation

Deep Imbalanced Attribute Classification using Visual Attention Aggregation

**摘要：**目前行人属性识别的难点在于底层类别不平衡和空间注释的缺乏，
现有方法要么跟随计算机视觉去处理，这没有考虑类别间的平衡
要么跟随机器学习没有考虑到空间和语义间的关系。
我们引入了一个损失函数来处理类的不平衡，并进一步证明了具有高预测方差的惩罚注意掩模是导致注意机制监管薄弱的原因。我们在PETA和WIDER-Attribute数据集上使用简单的注意机制，实现了最先进的结果，而不需要额外的上下文或侧信息。
**引言：**所谓行人属性数据的不平衡性，大概就是光头带眼镜的人数比较少，那么大规模的不平衡数据集可以导致有偏差的模型，优化有利于大多数类，而不能识别识别未充分表示的类所需的细微差别特征。

从不平衡数据中学习是机器学习和计算机视觉中一个被深入研究的问题。传统的解决方案包括对少数类进行过采样[3,4]，或对多数类[5]进行过采样，以补偿不平衡的类比和代价敏感学习[6]，其中分类错误会受到不同的惩罚。这种方法在过去已被广泛使用，但它们有一些局限性。
例如，上采样引入了冗余信息，使得模型容易过度拟合，而下采样可能会去除有价值的判别信息

我们认为，深度不平衡属性分类问题的解决方案应该:(i)提取有区别的信息，(ii)利用每个属性特定的视觉信息，(iii)处理类的不平衡。据我们所知，目前还没有具有这些特征的方法，因此我们开发了一种方法，该方法使用(i)一个预先训练的网络来提取特征，(ii)一个多尺度上的弱监督视觉注意机制来提取特定属性信息，(iii)损失函数，处理类别失衡，并侧重于困难和不确定的样本。通过简化问题并解决其中的每一个挑战，我们能够在WIDERAttribute[10]和PETA[15]数据集中获得最先进的结果，这是该领域中使用最广泛的数据集。