更多精彩内容，请关注公众号：智驾机器人技术前线
1.论文信息
-
标题：Towards Dense Moving Infrared Small Target Detection: New Datasets and Baseline
-
作者：Shengjia Chen, Luping Ji∗, Sicheng Zhu, Mao Ye, Haohao Ren, Yongsheng Sang
-
作者单位：电子科技大学，四川大学
-
来源： IEEE Transactions on Geoscience and Remote Sensing
-
论文链接：https://ieeexplore.ieee.org/abstract/document/10636251/
-
项目地址：https://github.com/UESTC-nnLab/DMIST
2.摘要
作为红外小目标检测的一个重要研究分支，密集目标检测（例如，无人机群检测）一直是一个值得探索的话题。目前，现有的数据集只涵盖了一个或几个（稀疏）目标，几乎没有数据集可用于密集小目标检测的研究。为了推进这类搜索，我们首次在DAUB数据上合成了两个特殊的密集移动目标数据集（DMIST-60和DMIST-100）。它们每个帧都包含50多个红外小目标。与此同时，为了评估我们的新数据集并促进检测方法研究的繁荣，我们提出了一个链接感知切片网络（LASNet）作为我们数据集的基线。它主要由视觉特征提取、运动特征提取和运动亲和融合组成。在我们合成的数据集上的全面实验证实：i) 两个数据集都适用于密集移动红外小目标检测，并且ii) 提出的LASNet在稀疏和密集目标场景中都能明显优于其他比较方法。
3.主要贡献
-
设计了一个算法来自动生成两个密集目标数据集（DMIST-60和DMIST-100）;
-
为新数据集提出了一个LASNet基线，主要包括具有链接感知节点的运动特征提取、运动亲和融合和运动掩模损失监督;
-
在两个DMIST数据集上对各种最先进的红外小目标检测（ISTD）模型进行了全面实验。实验结果验证了我们新的DMIST数据集和提出的基线LASNet的有效性。
4.核心思想与方法
下图展示了所提出的LASNet的概述。构建DMISTD基线时存在三个关键挑战。I: 单个时空切片中密集目标的运动环境可能是混乱的，这使得模型难以提取有用的特征。因此，需要在多个切片中进一步细化运动环境。此外，每个时间步骤的特征可能对整体运动环境的贡献不同。现有的运动特征建模范式同时处理所有步骤，而没有考虑不同步骤之间的关系和重要性。为了应对这一挑战，我们提出了一个LAS模块。II: 大多数现有研究通过使用传统的单帧真实标注来计算损失，来监督运动特征提取器。这种方法本质上无法帮助运动特征提取器学习有用的运动特征。应该设计一个新的基于多帧的损失函数，从多帧角度有效监督运动特征提取器。为了应对这一挑战，我们提出了一个运动掩模损失函数。III: 整合运动和视觉特征以提高检测性能也是一个挑战。为了解决这个问题，我们提出了一个MAF模块。
image
5.实验仿真验证
image
image
image
image
image
image
6.总结&&展望
为了填补密集红外小目标检测的研究空白，本文首次合成了两个新的密集目标数据集DMIST-60和DMIST-100。它们都是通过我们的合成算法生成的，有效地降低了劳动成本。然后，为了评估我们的数据集并推进密集红外小目标检测，本文引入了一个特殊的基线LASNet，它具有链接感知节点。它在训练中采用了一种新的运动掩模损失来优化运动特征提取。此外，它设计了一个运动亲和融合模块来融合和增强运动和视觉特征。比较实验证实，我们合成的数据集是实用和有效的。我们的基线LASNet是稳健的，通常优于现有的检测方法。此外，消融研究表明，LASNet中设计的所有组件都对密集红外小目标的检测性能做出了积极贡献。我们工作的主要局限性是两个数据集都是合成的（即非真实捕获），基线LASNet通常需要优化大量的参数，导致计算复杂性高。将来，这些领域值得进一步探索。我们期望我们的工作能够激发和促进密集移动红外小目标检测的技术研究。
近期知识星球优质文章
-
保护隐私的创新：联邦半监督学习在密集场景对象检测中的应用
-
基于激光雷达的动态环境中实时目标检测与跟踪
-
基于证据深度学习的不确定性感知三维自动标注
-
精确空间理解与视觉语言模型
-
混合Mamba-Transformer视觉骨干网络
-
相机和激光雷达数据的自监督模拟学习进行端到端驾驶
-
压缩自动驾驶端到端运动规划器
本文仅做学术分享，如有侵权，请联系删文！
更多精彩内容，请关注公众号：智驾机器人技术前线
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
