图像分割-RSPrompter

前言

《RSPrompter: Learning to prompt for remote sensing instance segmentation based on visual foundation model》，2024

本篇论文提出了目前SAM存在的一些问题：

1. SAM严重依赖于人工先验（点、框、mask）且分割结果是没有标记类别的，如下图，单点、两点、边框提示的不同分割结果
2. SAM在遥感图像分割任务中的性能在很大程度上仍未被探索和证明

1. 自动化提示器

针对问题1，不由得想到：如果能够自动生成多个与类别相关的提示，SAM 的解码器就能够产生带有类别标签的多个实例级掩码。

论文提出训练一个自动化的提示器（RSPrompter），能够处理来自测试集的任何图像，同时对对象进行定位，并推断它们的语义类别和实例掩码。最后通过RSPrompter+SAM，实现分割任务的自动化。

这个过程存在两个主要挑战：（i）类别相关的提示从哪里来？（ii）应选择哪种类型的提示作为掩膜解码器的输入

RSPrompter的结算流程如下：

1. 通过冻结权重的SAM image encoder生成多个中间特征图$F_i$ （K×h×w×c）和最终的图像嵌入$F_{img}$ （h×w×c）
2. $F_i$通过多尺度特征增强器（结构和原理见1.1）逐步处理获得多尺度特征$F_{ms}$
3. 将多尺度特征$F_{ms}$输入RSPrompter（结构和原理见1.2）以获得多组提示语（ F s p a r s e m ∈ R K p × c , m ∈ { 1 , ⋅ ⋅ ⋅ , N p } F^m_{sparse} ∈ R^{K_p×c}, m ∈ \{1, · · · , Np\} Fsparsem​∈RKp​×c,m∈{ 1,⋅⋅⋅,Np}）和它们的语义类别（ c m ∈ R c , m ∈ { 1 , ⋅ ⋅ ⋅ , N p } c_m ∈ R^c, m ∈ \{1, · · · , Np\} cm​∈Rc,m∈{ 1,⋅⋅⋅,Np}），其中，$K_p$定义了每次掩码生成的提示嵌入次数；$N_p$是提示的个数，用来定义输出实例掩码的个数。

需要注意的是， F