《遥感影像小目标检测研究进展》总结

文章链接：http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=221202&flag=1

摘要：独特的拍摄视角和多变的成像高度使得遥感影像中包含大量尺寸极其有限的目标，如何准确有效地检测这 些小目标对于构建智能的遥感图像解译系统至关重要。本文聚焦于遥感场景，对基于深度学习的小目标检测进行全 面调研。首先，根据小目标的内在特质梳理了遥感影像小目标检测的3个主要挑战，包括特征表示瓶颈、前背景混淆以 及回归分支敏感。其次，通过深入调研相关文献，全面回顾了基于深度学习的遥感影像小目标检测算法。选取3种代表性的遥感影像小目标检测任务，即光学遥感图像小目标检测、SAR图像小目标检测和红外图像小目标检测，系统性 总结了3个领域内的代表性方法，并根据每种算法使用的技术思路进行分类阐述。再次，总结了遥感影像小目标检测 常用的公开数据集，包括光学遥感图像、SAR图像及红外图像3种数据类型，借助于3种领域的代表性数据集SODA-A （small object detection datasets）、AIR-SARShip 和 NUAA-SIRST（Nanjing University of Aeronautics and Astronautics， single-frame infrared small target），进一步对主流的遥感影像目标检测算法在面对小目标时的性能表现进行横向对比及深入评估。最后，对遥感影像小目标检测的应用现状进行总结，并展望了遥感场景下小目标检测的发展趋势。

内容：这篇文章主要提出了小目标检测当前所面临的挑战，选取三种具有代表性的小目标检测任务，并介绍了一些开源的数据集加以验证，借助三种数据集列举了相应的目标检测算法以及进行了对比和评估。最后列举了小目标检测的应用现状，并展望了发展趋势。

（一）小目标检测面临的挑战

小目标的内在特质和遥感影像的数据特性使得面向遥感影像的小目标检测任务变得更具挑战性。本文将其归纳为3个方 面，即特征表示瓶颈、前背景混淆和回归分支敏感如图1。

图1 遥感影像小目标检测主要挑战

（二）遥感图像小目标检测算法

1）光学遥感图像小目标检测算法

今年来对于光学遥感图像小目标检测提出了很多具有代表性的算法，如 Faster RCNN（regional-based convolutional neural network）（Ren 等 ，2017）、RetinaNet（Lin 等 ， 2020）、FCOS（fully convolutional one-stage detector） （Tian 等，2022）、FPN（feature pyramid networks）（Lin 等，2017）和 YOLOv3（you only look once）（Redmon和 Farhadi，2018）等根据算法采用技术的主要特点，可概括为 5 类，即基于数据扩充的方法、基 于特征融合的方法、基于超分辨的方法、基于背景建 模的方法和基于优化训练策略的方法。整体的分类 图如图2所示。

图2 光学遥感图像小目标检测算法分类 

2）SAR图像小目标检测算法

随着 SAR 成像技术的不断发展，高分辨率 SAR 图像的数据积累与日俱增，数据驱动的深度学习领 域涌现出一批代表性工作。这些方法往往以通用目 标检测算法为基础，结合小目标的表征特性与 SAR 成像机理优化网络设计，从而完成对 SAR 遥感图像 中的小目标的检测。根据其优化的机理与设计技术 的区别，可以概括为5类，即基于数据扩充增强的方 法、基于多尺度特征融合的方法、基于注意力特征感 知的方法、基于半监督学习的方法和基于雷达散射 机理的方法。整体的分类图如图3所示。

图3 SAR图像小目标检测算法分类 

3）红外图像小目标检测算法

随着红外成像技术的不断发展，结合深度学习 的红外图像小目标检测方法屡见不鲜。这些方法往 往以通用目标检测算法为基础，结合红外小目标的 特点优化网络设计，从而完成对红外图像中小目标 的检测。根据其优化手段与设计方法的区别，可以 概括为4类，即基于超分辨率的方法、基于背景噪声 抑制的方法、基于注意力机制的方法和基于多尺度 感知的方法。整体的分类图如图4所示。

图4 红外图像小目标检测算法分类

（三）遥感影像小目标检测数据集回顾

1）光学遥感图像

 基于SODA-A数据集的主流算法性能评估AP 指标用于评估检测算法 的综合质量，计算该指标需要得到不同检测置信度 下的准确率（precision）和召回率（recall），具体为：

TP和FP的判断依赖于IoU阈值的选取。通过改 变IoU阈值，即可获得P-R曲线。最终，AP计算为：

表2　主流光学遥感图像小目标检测算法在SODA-A数据集上的性能对比 

注：加粗字体表示各列最优结果。

2）SAR图像

为了对 SAR 图像小目标检测算法进行更直观 的比较和评估，本文分析了领域内代表性方法在 AIR-SARShip 数据集上的表现，以期为之后的相关 算法设计提供参考。AIR-SARShip 采用准确率、召 回率、F1以及AP来评估不同算法的性能水平。F1指 标表示准确率和召回率的调和平均值，具体为:

 表4　主流SAR图像小目标检测算法在 AIR-SARShip数据集上的性能对比

3）红外图像

为了对红外图像小目标检测算法进行更直观的 比较和评估，本文以 NUAA-SIRST 数据集为训练数 据集，然后以SIRST测试集作为性能测试的数据集， 选取领域内的代表性方法，以交并比、归一化交并比 （normalized intersection over union，nIoU）、检 测 率 （probability of detection，Pd）和 虚 警 率（false-alarm rate，Fa）作为评价指标，全面评估在面对红外图像小 目标时的性能表现，结果如表6所示，以期为之后的 相关算法设计提供参考。

红外图像目标检测的评价指标不同于光学图像 目标检测任务常采用的的AP指标。归一化交并比、 检测率和虚警率的计算分别为:

 式中，N 是样本总数，TP [·]表示正确预测的正样本数，T [·]和P [·]分别表示正确预测的样本数量和预 测为正样本的数量。

 式中，Pd 表示正确预测目标数（Npred ）与所有目标总 数（Nal ）l 的比值。

 式中，Fa 表示错误预测的目标数（Nfalse ）与所有目标 总数的比值。

表6　主流红外图像小目标检测算法在 NUAA-SIRST数据集上的性能对比

（四）遥感影像小目标检测应用现状

在深度学习的驱动下，小目标检测已取得了重大突破，并广泛应用于国防安全、智能交通和工业自 动化等多个领域。选取智慧交通、港口目标监测、空中精确制导以及远海移动目标跟踪 4 种典型 的小目标检测应用场景进行介绍。

（五）发展趋势与展望

深度学习的发展以及专用于小目标检测的开源 数据集为遥感图像小目标检测带来了曙光，但相比 通用目标检测任务中的大中尺寸目标的检测精度， 小目标仍然难以望其项背，极大制约了检测算法的 实际落地。基于已有研究和相关实验分析，展望遥感影像小目标检测任务，潜在的几个未来发展方向如：①适用于小目标相关下游任务的特征提取网络；②面向遥感影像小目标检测的大规模数据集;③多模态遥 感数据协同的小目标检测算法；④更合理灵活的性能评估标准。

评价：该文章有极大的参考意义，对于小目标检测当前研究进展有一定的介绍。文中举例了很多类型的目标检测算法以及对应的开源数据集，可对算法进行学习以及依照文章介绍选取数据集，进行以后的研究。