Compositional Oil Spill Detection Based on Object Detector and Adapted Segment Anything Model

Compositional Oil Spill Detection Based on Object Detector and Adapted Segment Anything Model

Motivation: Although these methods (Deep learning-based methods) provided reasonably good detection performance, they required accurately annotated segmentation samples for training, which is generally time-consuming and resource-intensive for building the dataset.

动机：深度学习方法需要准确注释的分割样本进行训练，而这通常需要耗费大量时间和资源来构建数据集。

做了什么：
为了减轻语义分割方法对大量精细注释样本的需求，我们提出了一个复合漏油检测框架 SAM-OIL，包括对象检测器（例如 YOLOv8）、适配的任意分割模型 (SAM) 和有序掩模融合 (OMF) 模块。

SAM 代表了自然图像分割领域的最新进展，它通过使用点、边界框、掩模和文本等输入提示提供令人印象深刻的零样本分割性能 [9]。在各种提示中，基于边界框的提示可产生最佳分割结果 [10]，因此，我们将对象检测器与 SAM 集成用于漏油检测。YOLO 系列模型是对象检测中最有效的模型，因此我们选择最新的 YOLOv8 [11] 作为 SAMOIL 框架中的对象检测器。另一方面，SAM 的输出是与类别无关的二进制掩码，在合并掩码时可能会导致像素类别冲突。为了解决这个问题，我们提出了有序掩码融合 (OMF) 模块，该模块根据预定义的类别顺序合并掩码以提高最终准确率。

此外，直接将在自然图像上训练的 SAM 应用于遥感卫星图像并不能产生令人满意的结果 [10]，尤其是对于具有模糊物体边界的 SAR 图像。为了弥补这一差距，SAM 需要专门针对漏油检测任务进行调整。HQ-SAM [12] 是 SAM 的最小改编，它通过添加不到 0.5% 的模型参数来提高 SAM 的分割精度。由于 HQ-SAM 的简单性和训练效率，我们将 HQ-SAM 中的适配器模块集成到 SAM-OIL 中，从而将 SAM 的分割能力转移到漏油检测任务。本研究的主要贡献总结如下。

我们提出了一种组合式漏油检测框架 SAM-OIL，它将先进的物体检测器（例如 YOLOv8）与 SAM 相结合。据我们所知，这是 SAM 首次应用于漏油检测。
• 提出了有序掩模融合 (OMF) 模块，这是一种无参数方法，可以有效解决 SAM 中的像素类别冲突。
• 我们将 HQ-SAM 的适配器模块引入到 SAM-OIL 中，该模块利用 M4D 数据集中的掩模来训练适配器，有效增强了 SAM 对边界模糊物体的分割能力。
• 实验结果表明，SAM-OIL 实现了 69.52% 的 mIoU，超越了现有的漏油检测方法，并且 OMF 和适配器都可以有效提高 SAM-OIL 的准确性。

A. 检测器给SAM提供prompt，即SAM的输入有两个原图和检测框作为prompt。

B. 有序掩模融合模块
有序掩模融合 (OMF) 模块旨在解决掩模融合中遇到的像素类别冲突。OMF 基于预定义的掩模顺序进行操作，其中模糊像素根据顺序进行分类，顺序对于 OMF 至关重要，如算法 1 中所述。例如，如果掩模顺序定义为“船舶、陆地、漏油、相似”，则分割结果中同时被标识为“船舶”和“陆地”的像素将被归类为“船舶”。

C. 自适应 SAM

我们采用 HQ-SAM [12] 作为自适应 SAM，因为它简单且训练效率高。HQ-SAM 最初是为了提高 SAM 对自然图像中复杂结构的分割精度而开发的，而本研究中使用的 HQ-SAM 旨在提高 SAM 对 SAR 图像中模糊边界的分割能力。HQ-SAM 是通过将 HQ-Output Token 和深浅特征的融合引入 SAM 而构建的。首先，设计一个可学习的 HQ-Output Token $T_{HQ}$，将其与原始提示