解析目标检测全流程！附代码数据

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：王程伟，算法工程师，Datawhale成员

在计算机视觉中，红外弱小目标检测是一个重要的方向，但直到近一两年，才开始运用一些深度学习的方法。深度学习自2012年就开始大火，为何近一两年才更多被应用于弱小目标检测？

个人认为主要是由于数据集的制约。红外弱小目标成像特殊，一般获得海量的真实数据非常困难（很多实验数据由人工合成）；另一方面多被应用于军事领域，即使拥有大量真实数据也不被轻易公开。至今，仍然鲜有公开的可供应用和研究的标准红外弱小目标数据集。

本文将从传统图像方法+机器学习的角度来说明如何进行红外弱小目标检测，所用数据集（MSDIT）均为自己拍摄和标注，部分数据已上传至开源数据平台Graviti，供感兴趣的同学学习和研究。

红外弱小目标数据集

我们构建了一个多场景红外弱小目标数据集（MSIDT）。MSIDT 共计 6267 张图像，包含约 6625 个红外弱小目标，包含建筑背景、净空背景、复杂云背景、连续云背景、树木背景及其他（海面、海天）背景 6 种通用场景。

MSIDT中96%+数据采用红外热像仪实际拍摄

下图显示了 MSIDT 的一些统计特性，MSIDT 涵盖了红外弱小目标所有尺寸的变化范围，其中 3*3 以内的点目标占一半以上，另外，9*9 左右的面目标约占 2%。MSIDT 具有成像真实(非理论合成)、目标尺寸丰富、场景多样的特性，且对所有目标均进行了标注。

俗话说，知己知彼百战百战不殆，我们接下来通过观察分析一下红外弱小目标成像究竟有何特性：

• 目标像素个数占整个图像的比例非常少，根据 SPIE 对弱小目标的定义，"小"体现在：对于一幅 256×256 的红外图像，弱小目标所占的面积一般在 81个像素以内，仅占整幅图像的 0.12%；

• 缺失颜色特征、纹理特征和结构特征，且容易和图像中其他物体混淆，容易被噪声淹没。

• 在局部邻域内，目标的灰度强度较高，表现为峰值；

• 目标的灰度与相邻的局部背景存在异质性和对比性；

• 在局部邻域内，目标具有孤立性，梯度和灰度在水平和垂直方向均有较大的变化。

• 目标通常近似圆形或椭圆形，呈中心对称状，灰度从中心向四周弥散， 可利用二维高斯函数对其进行建模。

总体而言，做到精确地检测红外弱小目标具有一定挑战性，接下来，我们将根据红外弱小目标的成像特性设计算法进行检测工作。

红外弱小目标检测过程

1. 计算显著性图和目标尺寸

我们首先利用灰度分布计算得到一幅显著性图，以该显著性图为基础进行角点检测以提取候选目标。

另外，虽然弱小目标很小，但其尺寸是变化的，要较准确地对其特征进行提取，就需要能自适应地估计目标的尺寸。

我们将目标尺寸量化为3x3、5x5、7x7、9x9的规则尺寸，在红外图像的局部邻域内（如5x5的范围内），弱小目标区域亮度通常高于其周围背景区域，且背景区域的灰度变化较为平缓，所以我们可以利用多尺度灰度差分获取显著图：即对于某一像素，用其不同尺寸邻域内的灰度均值差分的最大值表示其显著性，简单来说是分别使用3x3、5x5、7x7、9x9和11x11的滤波尺寸对图像进行均值滤波，然后3x3、5x5、7x7、9x9的滤波结果分别减11x11的滤波结果，取最大值作为显著图。

另一方面，我们观察到，弱小目标通常呈现为近似椭圆的形状，灰度向四周弥散，与二维高斯函数类似，二维高斯函数有一个特性，就是以其顶点为中心，随着局部窗口的增大， 其中心区域的局部均值差分通常逐渐减小，而局部方差通常逐渐增大，局部均值差分与局部方差结合起来就可以对目标的尺寸（二维高斯模板的尺寸）进行估计：