2021-03-29 单帧红外小目标数据集 | SIRST

目录

单帧红外小目标数据集 | Single-frame InfraRed Small Target (SIRST) Benchmark

1 数据集描述

  SIRST

  数据集统计性质

           新的评价指标nIoU

2 红外小目标检测

      模型驱动方法有优缺点

      基于深度学习（数据驱动）

               提出非调制对称上下文机制(ACM)

 

---

单帧红外小目标数据集 | Single-frame InfraRed Small Target (SIRST) Benchmark

南航戴一冕的文章中提出了一个用于红外小目标检测的单帧数据集 "Asymmetric Contextual Modulation for Infrared Small Target Detection" https://arxiv.org/abs/2009.14530

“Asymmetric Contextual Modulation for Infrared Small Target Detection”文中首先提供了一个具有高质量标注的开放数据集来推进红外小目标领域的研究。

1 数据集描述

  SIRST

• 公开的单帧数据集。仅对数百个序列，抽取序列中最具代表性的图片。为了避免训练集、验证集和测试集之间的重叠，我们在每个红外序列中只选取一幅代表图像。每个目标都是通过观察它的移动序列来确认的，以确保它是一个真实目标，而不是像素级的脉冲噪声。
• 图像目标有5种标注形式。适应不同检测模型的形式。支持不同的任务：图像分类、实例分割、边界框回归、语义分割和实例点识别
• 427张红外图像、480个目标（由于红外序列的缺乏，SIRST除了短波和中波长的红外图像外，还包括950 nm波长的红外图像）。
• 50%训练集 20%验证集 30%测试集。许多目标都非常模糊，并且隐藏在复杂的背景中。即使对人类来说，检测它们也不是一项容易的任务，这需要在整体场景的下具有高级语义，并进行集中搜索。

IRST是专门为单帧红外小目标检测而构建的数据集，其中的图像是从数百个不同场景的红外序列中选取的。https://github.com/YimianDai/sirst/blob/master/gallery.png

The bounding box and semantic segmentation annotations are available now. The rest annotation forms will come soon.

手动标记为五种标注形式。边界框和语义分割标注现在可用。其余的标注表格将很快发布。(还有其他同类型数据集[31]，但SIRST是数据量最多的)

                                                                              (a) 类别标签  （b）实例分割 （c）边界框 (d)语义分割 (e)实例发现

 

  数据集统计性质

• 目标个数分布。约90%图片中只有一个目标，约10%图片有多个目标（在稀疏/显著的方法中，可能会因全局独特的假设而被忽略）
• 目标面积分布。约55%的目标面积占比在0.02%之内（即300*300的图片中，目标像素为3*3）
• 目标亮度分布。仅有35%的目标亮度是全图最亮。考虑到65%的目标具有与背景非常相似甚至更暗的亮度，我们慎重使用目标显著性假设。

   

 

 

 新的评价指标nIoU

• 传统的背景抑制因子、信杂比增益等指标被用来测量目标周围的背景残差。深度网络输出一个二值mask，在大多数情况下，这些指标的值都是无穷大的。另一方面，传统方法往往将红外小目标检测建模为一个分割过程[10]，但为了获得更高的检测率[4]，牺牲了分割目标的完整性，当用深度网络作语义分割时，这一点是是非常不利的。

为了更好地平衡数据驱动方法和传统模型驱动方法，提出了一种新的评价指标。

我们提出了在并集上的归一化交点(nIoU)作为IoU的替代，它定义为：

N是样本总数，IoU和nIoU都不能代替receiver operating characteristic (ROC)曲线，因为它们反映的是固定阈值下的分割效果，而ROC反映的是滑动阈值下的整体效果。

---

2 红外小目标检测

      模型驱动方法有优缺点

通常，大多数研究人员将单帧检测问题建模为不同假设下的目标点检测，如显著目标点[3,8]、低秩背景下稀疏的点[5,40]，匀质(均匀)背景上的pop-out的点[33,7]。然后离群值映射(红外小目标检测结果）可以通过显著性检测、稀疏低秩矩阵/张量分解或局部对比度测量得到。最后，在给定阈值的条件下对红外小目标进行分割。尽管这些方法具有计算友好和无需学习的特点，但对场景变化的辨识能力不足，且具有超参数敏感性。

信号处理界普遍的想法是直接建立模型来测量红外小目标与其邻域环境的对比度[2,10]。尽管这些模型驱动的方法无需学习，也易于计算，但它们存在以下缺点:

• 1. 假设目标具有全局独特显著性、稀疏性或高对比度，这个假设在现实世界的图像中不成立。真实的弱目标可能不显眼，对比度低，而许多背景干扰物满足这些假设，导致许多假警报。
• 2.超参数敏感性，场景变化的辨识能力不足。许多超参数，如[10]中的λ和[4]中的h，对图像内容是敏感的和高度相关的，对于高度可变的场景来说不够鲁棒。

      基于深度学习（数据驱动）

 红外小目标检测领域的基于深度学习研究很少，原因大致有：

• 1. 缺少开放的数据集。深度学习需要大量数据。然而，目前还没有针对单帧检测场景的高质量标注的公共红外小目标数据集，可以对各种新方法进行训练、测试和比较。
• 2. 缺乏内在信息。SPIE将红外小目标定义为在256 × 256的图像[34]中，总空间范围小于80像素(9 × 9)。由于缺乏纹理或形状特征，单纯以目标为中心的表示方式无法进行可靠的检测。特别是在深度网络中，小目标很容易被复杂的环境所淹没。
• 3. 分辨率和语义之间的矛盾。红外小目标往往淹没在复杂的低信杂比背景中。在网络中以较低假警率检测这些弱目标，需要对整张红外图像有高层语义理解和高分辨率的预测图,这是一个深层网络的内在矛盾，因为他们是通过逐渐衰减特征尺寸大小来学习更多的语义表示[[14]

针对红外小目标的深度网络需要定制：

• 1. 重新定制降采样方案:许多研究强调，在设计cnn时，预测因子的接受域应与目标尺度范围匹配[29,20]。如果不对下采样方案进行重新定制，随着网络的深入，红外小目标的特征很难得到保留。
• 2.重新定制注意模块:现有的注意模块倾向于聚合全局或长期上下文[15,9]。基本的假设是，对象相对较大，分布更全局，这与ImageNet[30]中的对象是一致的。然而，对于红外小目标来说就不是这样了，一个全局的注意模块会削弱它们的特征。这就产生了什么样的注意模块适合突出红外小目标的问题。
• 3. 重新定制特征融合方法:最近的研究以单向、自顶向下的方式融合跨层特征[18,32]，目的是基于高层语义选择合适的低层特征。然而，由于小目标可能已经被深层背景所淹没，纯自上而下的调制可能不起作用，甚至有害。

      提出非调制对称上下文机制(ACM)

我们提出了一个非对称上下文调制(ACM)机制，一个插件模块，可以集成到多个主网络。

• 我们的方法提出了一个优秀的自顶向下的高级语义反馈路径和反向自底向上的上下文调制路径，将小尺度的视觉细节编码到更深层次，我们认为这是实现红外小目标更好性能的关键成分。
• 我们提出的PCAM的想法是，尺度不是专属于空间注意，通道注意也可以通过改变空间池化的大小在多个尺度上实现。对于红外小目标，所提出的PCAM是一个完美的适合它的小尺寸。

 

[2] C. L. Philip Chen, Hong Li, Yantao Wei, Tian Xia, and Yuan Yan Tang. A local contrast method for small infrared target detection. IEEE Transactions on Geoscience and Remote Sensing, 52(1):574–581, 2014.

[4] Yimian Dai and Yiquan Wu. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(8):3752– 3767, 2017.

[9] Jun Fu, Jing Liu, Haijie Tian, Yong Li, Yongjun Bao, Zhiwei Fang, and Hanqing Lu. Dual attention network for scene segmentation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3146–3154, 2019.

[10] Chenqiang Gao, Deyu Meng, Yi Yang, Yongtao Wang, Xiaofang Zhou, and Alexander G. Hauptmann. Infrared patch image model for small target detection in a single image. IEEE Transactions on Image Processing, 22(12):4996–5009, 2013.

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 770–778, 2016.

[15] Jie Hu, Li Shen, and Gang Sun. Squeeze-and-excitation networks. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 7132–7141, 2018.

[20] Yanghao Li, Yuntao Chen, Naiyan Wang, and Zhao-Xiang Zhang. Scale-aware trident networks for object detection. In IEEE International Conference on Computer Vision (ICCV), pages 6053–6062, 2019.

[29] Bharat Singh and Larry S. Davis. An analysis of scale invariance in object detection - SNIP. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 3578–3587, June 2018.

[31] Huan Wang, Luping Zhou, and Lei Wang. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images. In IEEE International Conference on Computer Vision (ICCV), pages 8508–8517, 2019.

[34] Wei Zhang, Mingyu Cong, and Liping Wang. Algorithms for optical weak small targets detection and tracking: review. In International Conference on Neural Networks and Signal Processing, volume 1, pages 643–647, 2003.