学习遥感大模型（2)---SAM的两种用法(1)

RSPrompter: Learning to Prompt for Remote Sensing Instance Segmentation based on Visual Foundation Model

北航、上海人工智能实验室

https://kyanchen.github.io/RSPrompter

0.简介

这篇工作尝试将Meta的SAM迁移到遥感实例分割任务上，需要在遥感数据集上微调；相比SAM交互式的分割（基于不同的Prompt），这篇工作提出自动生成prompt，但是学习到如何自动生成prompt的过程似乎依赖训练数据集，也就是说：模型能识别的类别局限于所有的训练类别。

1.动机：

Segment Anything需要prompt，prompt类型、位置和数量影响SAM效果

SAM缺乏语义信息

2.现有的将SAM应用于实例分割的思路

3.本文的思路

• 基于遥感数据集训练一个“ prompter”

• prompter 能够基于图像特征自动生成顾及语义（类别相关）的 prompt

• 每个 prompt 对应一个实例

 针对具体的prompter设计，与Mask-RCNN和DETR的思想相近，作者提出了Anchor-based prompter和query-based-prompter，这里要注意的是：在SAM中我们理解的prompt有点、bbox、文本等具体形式（“显式”prompt），而prompter生成的prompt是一系列向量（“隐式”prompt）

作者在WHU、NWPU、SSDD数据集上进行了实验

 WHU “建筑物提取”数据集中的航空图像子集。包含 8188 个大小为 512×512 像素的非重叠 RGB 图像。空间分辨率范围为 0.0075m 至 0.3m。指定 4736 张图像为训练集，1036 张图像为验证集，2416 张图像为测试集。

NWPU目标检测数据集。包括飞机、船舶、储罐、棒球场、网球场、篮球场、地面田径场、港口、桥梁和车辆十个类别。715 张光学遥感图像，空间分辨率为 0.5-2m；以及来自 Vaihingen 数据集的 85 张全色锐化彩色红外图像，空间分辨率为 0.08m。80% 用于训练，20% 用于测试。

SAR船舶检测数据集。包含1160张分辨率范围为1米至15米的SAR图像和2540个船舶实例。80% 用于训练，20% 用于测试。

4.自己的动手测试

NWPU数据集

Goolge Earth

Google Earth