哈工大提出红外小目标检测网络（ISTDU-Net）表现SOTA！优于其它算法，代码现已开源！

ISTDU-Net：Infrared Small-Target Detection U-Net(代码已开源)

作者单位：哈尔滨工业大学空间光学工程研究中心
论文下载链接：https://doi.org/10.1109/LGRS.2022.3141584
引用：Q. Hou, L. Zhang, F. Tan, Y. Xi, H. Zheng and N. Li, “ISTDU-Net: Infrared Small-Target Detection U-Net,” in IEEE Geoscience and Remote Sensing Letters, vol. 19, pp. 1-5, 2022, Art no. 7506205, doi: 10.1109/LGRS.2022.3141584.
Github:https://github.com/zhanglw882/ISTDU-Net

红外小目标因缺乏形状、纹理等有效信息，难以有效检测。为了解决这个问题，文中提出了一种新的深度学习网络：红外小目标检测U型网络（ISTDU-Net）。ISTDU-Net是一种U型结构的深度学习网络，可将单帧红外图像转换为红外小目标的概率似然图。ISTDU-Net在网络下采样中引入特征图分组感知和增强小目标特征图组的权重，以提高小目标的表征能力；同时在跳连接中引入了全连接层，从全局感受野中抑制了大量具有相似结构的背景，从而能提高目标和背景之间的对比度。实验结果表明，文中提出的ISTDU-Net可以检测复杂背景下的小红外目标。ISTDU-Net与其他算法相比，具有更好的ROC曲线，误报率低，AUC值为0.9977。

1、网络框架

ISTDU-Net网络的整体结构和网络模块之间的输入输出关系如图1所示。ISTDU-Net由三部分组成：编码器(Encoder)、解码器(Decoder)和跳连接Merge Connection。编码器部分在分辨率层面对输入图像进行下采样，在通道层面拓宽特征深度，通过为特征图组分配权重来提高小目标特征的表征能力。解码器执行高分辨率特征图和低分辨率特征图的多尺度特征融合。编码器和解码器通过跳连接连接。跳连接中引入了全连接层，它基于全局感受野对输入特征图进行特征感知和调整，增强了小目标和背景之间的差异。

2、损失函数

红外小目标检测实际上是对输入图像的每个像素进行二元分类的问题，以均方误差（MSE）的损失作为损失函数。具体损失函数如下：

3、评价指标

以接受者操作特征(ROC)曲线和ROC与坐标轴围的曲线下面积(AUC)作为算法在全局上的评价指标。ROC曲线的纵坐标是真阳性率（TPR），横坐标是假阳性率（FPR）。TPR和FPR分别从正样本和负样本的角度衡量模型的分类能力。AUC值越大，算法效果越好。TPR和FPR的计算公式如下：

此外，文中还利用对比度增益(CG)、信噪比增益(SCRG)指标来评价所提出方法的局部性能。

4、实验与分析

4.1消融实验

为了解通道超参数 c 对ISTDU-Net性能的影响和验证Merge模块的全局感受野在小目标检测中的优势，设计了四种不同的消融实验网络，对各个网络的性能进行了对比分析，网络设计如表1所示：

消融实验中各网络的ROC曲线如图6所示，AUC指标如表II所示。a组与c组比较，b组与d组比较，发现使用Merge模块的网络优于不使用Merge模块的网络。a组与b组对比，c组与d组对比，发现c=2时网络性能优于c=1时。综合比较，通道参数c设置为2，使用Merge时网络性能最好，相同误报率下检测率最高。

4.2对比实验
与其它的红外小目标检测算法进行了比较，参与对比的红外小目标检测方法有MPCM、RIPT、NIPPS、RISTDnet、Yolo-v5以及ALCNet。比较结果见表III和图7。
从表III中可以看出，深度学习算法的AUC普遍高于传统算法，在所有算法中ISTDU-Net的AUC值最大，说明提出算法的分类能力更强。结合图7，在相同误报率的情况下，ISTDU-Net的检出率最高，可见ISTDU-Net在小目标检测上有显著优势。


如图8所示，它们是不同场景下不同方法的检测结果示例。可以看出ISTDU- Net在复杂场景中误报最少，检测效果优于其他方法。同时，使用图8中的测试图像计算了不同算法的信号杂波比增益（SCRG）和对比度增益（CG），如下表所示，提出算法的SCRG和CG指标处于领先水平，可以体现算法优异的局部性能。




如图9所示，ISTDU-Net通过大量数据的训练可以应用于天空、城市建筑等不同的复杂场景。同时，ISTDU-Net通过上采样、下采样和多尺度特征融合，对不同尺度的目标具有一定的检测能力。

最后，测试了不同算法的检测速度，ISTDU-Net算法的检测速度大于10 FPS。

4、结论：

论文提出了基于卷积神经网络的ISTDU-Net，它可以将输入的红外图像转换为小目标概率似然图。ISTDU-Net可以检测复杂场景中的多尺度小目标，鲁棒性强。通过实验对比，ISTDU-Net的误报率在相同检测率下相对于现有算法更低，证明本文提出的方法是可靠的，检测效果优于其他方法。