one-shot 序列图像红外小目标分割

one-shot 序列图像红外小目标分割

IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING

代码还未开源 GitHub - D-IceIce/one-shot-IRSTS

few-shot：利用少量标注样本进行学习

one-shot: 属于few-shot的特殊情况，只用一个样本进行学习

zero-shot：不通过学习，对未见过的类别进行学习

摘要：

红外小目标序列具有很强的帧间相似性，并且包含丰富的上下文信息，这促使我们用最少的数据实现序列红外小目标分割。受SAM (Segment Anything Model)所领导的大模型在各种下游任务中取得成功的启发，我们提出了一种one-shot、无需训练的方法，将SAM的zero-shot泛化能力完美地适应于序列红外小目标分割。以一帧注释为参考，我们的方法可以准确地分割序列中其他帧中的小目标。具体而言，我们首先通过参考图像与测试图像之间的局部特征匹配获得置信度图。然后，以置信图中的最高点作为提示，设计了以点提示为中心的聚焦(PPCF)模块，解决边界模糊的小目标的过度分割问题。随后，为了防止漏检和误检，我们引入了三级集成(TLE)模块，该模块将前两步中不同级别获得的掩码集成以产生最终掩码。实验表明，我们的方法只需要one-shot就可以达到与基于传统many-shot监督的最先进方法相当的性能，甚至在少few-shot设置中表现更好。此外，消融研究证实了我们的方法在one-shot样本变化、场景变化和多个目标存在下的稳健性。

Introduction

大模型应用到IRSTS中存在一些挑战。以SAM为例：

1)