微小目标检测是一项计算机视觉任务,专注于从图像中检测并识别尺寸非常小的目标。这些目标在图像中的像素分布有限,通常难以被现有的检测算法准确识别和定位。微小目标检测在地球科学和遥感领域具有重要意义,例如在城市规划、环境监测等应用中,精确识别和检测微小目标至关重要。
为了提升微小目标检测的性能,本文提出了一种新的检测框架,称为DeNoising FPN with Trans R-CNN(DNTR)。该框架采用了两项关键技术:
-
去噪特征金字塔网络(DN-FPN):这是一个易于插入的设计模块,利用对比学习来减少特征金字塔网络(FPN)中融合过程中的噪声,从而更好地处理多尺度目标的检测。
-
基于Transformer的Trans R-CNN检测器:替代了传统的R-CNN检测器,利用自注意力机制来增强微小目标的表示能力,尤其在两阶段检测框架中发挥重要作用。
实验结果表明,该框架在多个数据集上的性能显著提升。例如,在AI-TOD数据集上,该方法的APvt指标相较基线模型提高了17.4%,在VisDrone数据集上的AP指标提高了9.6%。这表明DNTR在微小目标检测领域具备很高的应用潜力。
论文作者:Hou-I Liu,Yu-Wen Tseng,Kai-Cheng Chang,Pin-Jyun Wang,Hong-Han Shuai,Wen-Huang Cheng
作者单位:National Yang Ming Chiao Tung University;National Taiwan University
论文链接:http://arxiv.org/abs/2406.05755v1
项目链接:https://github.com/hoiliu-0801/DNTR
内容简介:
1)方向:微小目标检测
2)应用:目标检测
3)背景:尽管计算机视觉领域取得了显著进展,但对微小目标的精确检测仍然是一个重大挑战,主要是因为这些对象在图像数据中被分配的像素表示非常微小。这一挑战在地球科学和遥感领域中尤为突出,微小目标的高保真检测可以促进从城市规划到环境监测等各种应用。
4)方法:本文提出一种新的框架,名为DeNoising FPN with Trans R-CNN(DNTR),以改善微小目标检测的性能。DNTR包括一个易于插入设计的去噪FPN(DN-FPN)和一个有效的基于Transformer的检测器Trans R-CNN。具体来说,特征金字塔网络中的特征融合对于检测多尺度目标至关重要。然而,在融合过程中可能会产生嘈杂的特征,因为不同尺度的特征之间没有正则化。因此,引入了一个利用对比学习的DN-FPN模块,以抑制FPN自顶向下路径中每个级别特征中的噪声。其次,基于两阶段框架,用一种新颖的Trans R-CNN检测器取代了过时的R-CNN检测器,专注于利用自注意力来表示微小目标。
5)结果:实验结果表明,DNTR在AI-TOD数据集上至少比基线模型在APvt方面提高了17.4%,在VisDrone数据集上在AP方面提高了9.6%。代码:https://github.com/hoiliu-0801/DNTR;https://github.com/hoiliu-0801/DNTR。