【SAM模型应用于遥感影像|论文解读1】突破边界与一致性：SAM模型革新遥感影像语义分割

【SAM模型应用于遥感影像】突破边界与一致性：SAM模型革新遥感影像语义分割

【SAM模型应用于遥感影像】突破边界与一致性：SAM模型革新遥感影像语义分割

---

---

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

论文链接：https://arxiv.org/abs/2312.02464
代码连接：https://github.com/sstary/SSRS

前言

遥感影像的语义分割在提取精确信息以用于多种下游应用中起着关键作用。最近开发的Segment Anything Model（SAM），作为一个先进的通用分割模型，彻底革新了这一领域，开辟了准确且高效的分割新途径。然而，SAM仅限于生成不包含类别信息的分割结果。同时，现有方法预测的分割图通常存在过度碎片化和边界不准确的问题。

本文提出了一个简化的框架，旨在利用SAM的原始输出，结合两个新概念——SAM生成对象（SGO）和SAM生成边界（SGB）。具体而言，我们提出了一种新的对象一致性损失，并进一步引入了边界保持损失。基于SGO的内容特征，我们引入了对象一致性概念，以利用缺乏语义信息的分割区域。通过对对象内部预测值的一致性施加约束，对象一致性损失旨在提升语义分割性能。此外，边界保持损失利用SGB的独特特性，通过引导模型关注对象的边界信息来优化分割效果。通过在两个著名数据集（ISPRS Vaihingen 和 LoveDA Urban）上的实验结果，验证了我们提出方法的有效性和广泛适用性。

一、引言

遥感影像的语义分割涉及为由各种遥感传感器获取的图像中的每个像素分配语义标签。该过程是多种地球科学下游应用的基础，包括环境监测[1, 2]、土地覆盖分类[3, 4]和灾害管理[5, 6, 7, 8]。其主要目标是将图像准确地划分为代表不同语义类别的独立区域，以促进遥感数据的自动分析和解释。

深度学习技术的出现[9, 10, 11, 12]为该领域带来了许多高性能、针对特定问题的方法。根据网络类型，这些方法主要可以分为卷积神经网络（CNN）[13, 14, 15, 16]、基于Transformer的方法[17, 18, 19, 20]和混合架构[21, 22, 23, 24]，用于遥感应用。

最近，一个名为Segment Anything Model（SAM）[25]的基础模型专为图像分割而设计，受到了计算机视觉领域的广泛关注。SAM在一个包含1100万张自然图像和超过10亿个分割掩码的大规模数据集上进行训练，其显著特点是能够在未曾见过的新视觉对象上实现零样本分割。作为首个用于通用图像分割的基础模型，SAM及其原始论文在谷歌学术网站上在六个月内获得了超过1000次引用。然而，两个明显的限制阻碍了SAM在遥感图像语义分割任务中的应用。首先，生成的分割掩码缺乏语义标签。其次，由于自然图像与遥感图像之间的差异，SAM在遥感任务中的效果受到影响[26]。

研究人员从不同角度探索了各种方法来解决这些限制，并增强SAM在遥感图像语义分割任务中的性能。这些方法包括调整或增强SAM[27, 28, 29]，使用少样本或零样本学习策略[30, 31, 32, 33]以及利用提示学习技术[34, 35, 36, 37, 38, 39, 40]。特别是，SAM-CD[28]直接利用FastSAM[41]提取图像特征，同时结合遥感图像中的时间约束进行变化检测监督。RS-CLIP[31]采用课程学习策略，通过多个阶段的模型微调，提升了使用SAM进行遥感图像零样本分类的性能。

**SAMRS[35]通过使用各种提示，高效生成了大规模遥感分割数据集，从而显著扩展了现有的遥感数据集。**然而，这些方法往往需要人为设计复杂的微调机制或提示学习策略。前者涉及修改通用语义分割模型的结构和训练策略，而后者需要为不同的数据集定制特定的提示。不幸的是，这些因素阻碍了SAM在遥感领域的无缝集成。

为了应对上述挑战，我们开发了一个简单而有效的框架，从对象和边界两个角度利用SAM。我们的观察表明，由于遥感图像与自然图像之间的差异，SAM在准确分割遥感图像时遇到了一些挑战。然而，正如图1所示，SAM在识别对象方面表现出色，生成的SAM对象（SGO）和SAM边界（SGB）能够提供详细的对象和边界信息。为了充分发挥它们的潜力，并将对通用语义分割模型的修改降至最低，我们提出了一种新的损失函数，即对象一致性损失，并进一步引入了边界保持损失以帮助模型训练。

对于对象一致性损失，我们观察到SGO中的区域（如图1（c）所示）实际上是没有语义信息的对象。这个见解促使我们设计了对象一致性损失，旨在确保分割对象内部的一致性。此外，我们引入了边界保持损失[42]，以鼓励语义分割模型基于详细的SGB信息更好地考虑分割边界。由于这两个损失函数都将来自通用语义分割模型的语义分割输出作为输入，因此无需在解码器的尾部增加额外的分割头。通过简单直接地利用SGO和SGB，嵌入在SAM中的基础视觉知识有助于提升遥感图像的语义分割性能。该方法有望在涉及SAM与遥感结合的各种任务和语义分割模型中得到直接应用。

本工作的贡献可总结如下：

• 提出了一个简化的框架，能够有效利用两个新概念，即SGO和SGB，用于遥感图像的语义分割。该框架强调了SAM原始输出的价值和有效性。值得注意的是，与其他现有的基于SAM的遥感方法不同，我们的方法不需要为语义分割模型、训练策略或伪标签生成设计特定机制；
• 我们提出了一种新的对象一致性损失，通过约束对象内像素的一致性，并进一步引入边界保持损失来辅助模型优化，充分利用SAM的原始输出。这一过程无需依赖语义信息，专注于对象和边界两个关键角度。据我们所知，这是首个在语义分割任务中通过直接利用SAM的原始输出而无需额外的类别提示，引入对象和边界约束来精细化分割结果的工作；
• 我们在两个广为人知、公开可用的遥感数据集（ISPRS Vaihingen和LoveDA Urban）以及四个具有代表性的语义分割模型上进行了广泛的实验，结果证明了我们提出的方法能够广泛适用于不同数据集和不同通用模型的语义分割任务。我们相信，这一方法有潜力显著扩展SGO和SGB的应用，释放像SAM这样的超大模型在遥感图像语义分割任务中的全部潜力。

本文其余部分的结构如下。第二节首先回顾了SAM在不同领域的相关工作。接着，第三节详细介绍了提出的方法，第四节提供了实验结果和讨论，最后在第五节给出结论。

将在后续的博客中继续展出…

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz