论文笔记：Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels

最新推荐文章于 2023-07-31 00:00:41 发布

cqbelt

最新推荐文章于 2023-07-31 00:00:41 发布

阅读量1.8k

点赞数 2

分类专栏：日记文章标签：计算机视觉机器学习

本文链接：https://blog.csdn.net/weixin_40371649/article/details/107997907

版权

日记专栏收录该内容

24 篇文章 0 订阅

订阅专栏

这是中科院计算所的一篇讨论大尺度目标检测的论文，主要解决多标签，类别不均衡的问题。论文地址
在过去的几年里，目标检测领域取得很大的进步。Pascal VOC、MS COCO等具有高质量标注的通用目标检测数据集极大地推动了OD的发展。然而，这些数据集在今天看来是相当小的，并开始在一定程度上限制OD的发展。人们更多关注于数据集上的原子问题，而不是在更困难的场景中研究OD。
Open Image标注过程是在深度学习的帮助下完成的，候选标签由模型生成并由人类验证。由于模型的不确定性和人类个体的知识有限性，这不可避免地削弱了标签的质量，导致的主要问题有：

大多数object可能包含一个叶标签和所有对应的父标签，但标注只有父类。
一些相似类在训练集和验证集相关。

Open Image 的类别图如下：
在这里插入图片描述

摘要

Open Image采集和标注是半自动的，数据量大，存在标签相关问题。物体显式或隐式含有多个标签，标签分布不均衡。
作者提出了并行softmax处理目标检测的多标签问题，提出soft-sampling，用混合训练scheduler来解决标签的分布不平衡。在Open Image的测试集达到60.9mAP。

方法

在传统方案中，训练时每个box只分配一个标签，忽略了其他ground truth。如果作者在训练时选取m个ground truth分配到K个box，优化值会指向更低的方向。

训练阶段

并行softmax的loss
在这里插入图片描述

在推理过程中，多标签目标检测的影响也很突出。与传统的多标签识别任务不同，目标检测的评价指标是mAP。对于每个类别，首先采集所有图像的检测结果，按分数进行排序，形成P-R曲线，并将平均区域定义为mAP。这样，box score的绝对值就很重要了，因为它可能会影响预测box在整个数据集中的排名。
所以有
在这里插入图片描述
即使有soft-balance方法引入新的超参数来调整平衡因子，仍然有许多频繁类别的样本没有被抽样。
因此，作者提出一种混合训练scheduler方法来进一步缓解这一问题。
首先采用传统的方法对检测器进行训练，即不进行替换，对训练图像进行连续采样，其等效采样概率为 $P_o$ 。然后使用soft-balance策略对模型进行微调，使其覆盖样本较少的类别。该混合训练模式利用了预训练模型对Open Image本身而不是ImageNet进行目标检测的有效性。它保证了训练时所有的图像都被看到，使模型具有较好的泛化能力。

Some details

带有FPN的ResNet-50骨干来训练detector。对于网络配置，遵循Detectron中提到的设置。作者使用动量0.9的SGD和重量衰减0.0001来优化参数。初始学习率设置为0.00125 batch size，然后对一个共7个epoch的scheduler在4和6个epoch时降低10倍。输入图像被缩放，短边的长度为800，长边的长度被限制为1333。采用水平翻转作为augment，采用同步BN加速收敛。

结果

模型在mini-train上训练，在mini-val上评估。

不同损失函数的比较方法

并行softmax在测试集的有效性

在这里插入图片描述

不同采样方法的比较

Non-balance训练只能达到38.16 mAP。[10]只是对所有类别数据进行均匀随机抽样，在很大程度上弥补了数据不平衡问题，使性能提高到55.45。[6]用于重新加权分类损失，以协调不同类别的梯度贡献。
$\lambda$ 对soft-balance的影响

可以看出， $\lambda=0.7$ 时，soft-balance达到最优性能。

soft-balance的 $\lambda$ 被设置为0.7。非平衡I14表示采用ImageNet，pretrain的非平衡策略训练的epoch 14模型。非平衡S20是用非平衡策略从零开始训练的epoch 20模型。

模型在full-train训练，在full-val评估的结果
bells和whistles on Open Images公开测试挑战集的结果

作者训练了一个ResNeXt-152 FPN，以多尺度训练和测试为基线，得到了53.88 mAP。在class-aware平衡之后，性能提升到57.56。在并行softmax的帮助下，模型实现了58.60 mAP。采用soft balance算法和混合训练scheduler算法可以提高1.26和1.04mAP。