独家总结 | 2020基于深度学习的目标检测-Part 4

图像目标检测中常用方法分析

基于深度神经网络的目标检测管道一般分为图像预处理、特征提取、分类与回归、后处理四个步骤。

首先，数据集中的原始图像不能直接输入网络。因此，我们需要将它们调整到任何特殊的大小，并使它们更清晰，例如增强亮度、颜色、对比度等。数据增强也可用于一些要求，如翻转，旋转，缩放，裁剪，平移，添加高斯噪声。此外，GANs(生成对抗网络)可以生成新的图像，因为您希望丰富输入的多样性。有关数据增强的详细信息，请参阅[60]。

其次，特征提取是进一步检测的关键步骤。特征质量直接决定了包含分类和回归的后续任务的上界。

第三，探测器头部负责提出和细化边界框，得出分类分数和边界框坐标。图1给出了第二步和第三步的基本过程。

最后，对弱检测结果进行后处理。例如，NMS是一种广泛使用的方法，其中得分最高的对象删除其分类得分较低的邻近对象。为了获得精确的检测结果，有几种方法可以单独使用或与另一种方法结合使用。

IoU ，简单来讲就是模型产生的目标窗口和原来标记窗口的交叠率。具体我们可以简单的理解为： 即检测结果(DetectionResult)与 Ground Truth 的交集比上它们的并集，即为检测的准确率 IoU 。

详细考察了目标检测中的不平衡问题（注意不仅仅是样本中的不平衡问题）及其解决方案

详细考察了目标检测中的不平衡问题（注意不仅仅是样本中的不平衡问题）及其解决方案

作者让我们重新审视目标检测的数据和算法流程，对于任何输入的特性的分布，如果它影响到了最终精度，都是不平衡问题。

一个我们最常想到的不平衡问题是：目标类别的不平衡。比如猫狗数据标注数量差异比较大。

但这只是类别个数这一个输入特性。

The numbers of input bounding boxes pertaining to different classes 属于不同类的输入边界框的数目

The scales of input and ground-truth bounding boxes输入和地面真实边界框的比例

Contribution of the feature layer from different abstraction levels of the backbone network (i.e. high and low level)来自骨干网不同抽象层次的特征层的贡献(即高、低层次)

Contribution of the individual examples to the regression loss各样本对回归损失的贡献

IoU distribution of positive input bounding boxes正输入边界框的IoU分布

Locations of the objects throughout the image 整个图像中物体的位置

Contribution of different tasks (i.e. classification, regression) to the overall loss  不同任务(即分类、回归)对总体损失的贡献

作者将目前上述不平衡问题及相应目前学术界提出的解决方案，融合进了下面这张超有信息量的图。

作者又从方法的角度总结了这些解决不平衡问题的目标检测算法。

这两张图没有放。

简要概括，论文中有详细分部分讲解。

目标检测天生是计算密集型任务，所以在其发展的各个阶段，目标检测算法的加速就一直是一个重要议题。

可见主要是在三个层次加速：

数值计算层次（如积分图、矢量量化等）、

检测引擎层次（网络剪枝与量化、轻量级网络设计等）、

检测流程层次（特征图共享、分类器加速、级连检测等）。