【SAM模型应用于遥感影像|论文解读5】突破边界与一致性：SAM模型革新遥感影像语义分割

【SAM模型应用于遥感影像|论文解读5】突破边界与一致性：SAM模型革新遥感影像语义分割

【SAM模型应用于遥感影像|论文解读5】突破边界与一致性：SAM模型革新遥感影像语义分割

---

---

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz

论文链接：https://arxiv.org/abs/2312.02464
代码连接：https://github.com/sstary/SSRS

四、EXPERIMENTS AND DISCUSSION

E. Sensitivity Analysis

该分析重点关注两个超参数的敏感性，分别是 λ_o 和 λ_b。λ_o 旨在调整来自目标一致性的影响，而 λ_b 则调整源于边界信息的贡献。这些参数在平衡目标一致性损失和边界保持损失方面具有重要意义。考虑到这两个超参数之间没有显著相关性，使用 UNetformer 进行了单独的敏感性实验。

图 8(a) 显示了在不同 λ_o 值下模型的 mF1 和 mIoU 性能。较小的 λ_o 减弱了目标信息的影响，而较大的值可能过分强调其重要性。值得注意的是，当设置 λ_o ≥ 2.0 时，性能明显下降。相反，在 λ_o ∈ [0.1, 1.0] 的范围内，性能对 λ_o 的变化表现出较低的敏感性。因此，除非另有说明，我们的实验中采用 λ_o = 1.0。此外，在图 8(b) 中，模型的性能随着不同 λ_b ∈ [0.01, 1.0] 的变化而变化。较小的 λ_b 值使得边界信息在模型学习中的贡献微不足道。当 λ_b 达到 0.1 时，观察到最佳性能，如图 8(b) 所示。然而，进一步增加 λ_b 会导致性能下降。最终，我们的实验将 λ_o 和 λ_b 分别设置为 1.0 和 0.1，使它们保持在相似的数量级内。

F. Ablation Study

为了强调所提框架中两个损失函数的不同作用，我们使用UNetformer在两个数据集上进行了消融实验，具体结果详见表III和表IV。结果表明，这两个损失函数的独立使用提高了语义分割模型的整体性能，验证了SAM原始输出的价值和有效性。当检查ISPRS Vaihingen数据集中不透水表面和建筑物的结果时，可以明显看到，只有边界保持损失相较于组合损失展现了可比的改善。这表明，在特定任务（如建筑物检测）中，可以仅通过边界保持损失充分挖掘基于SAM的预处理结果。然而，在语义分割任务中，由于各种地面物体具有高度复杂的边界，充分利用SGO和SGB就显得尤为必要。此外，这两个损失函数在不同类别上的结果（如表III和表IV所列）突显了它们在各类别之间表现出的差异性。通过结合目标和边界保持损失函数，我们提出了一个通用且简化的框架，以直接利用SGO和SGB，展示了在遥感影像语义分割任务中的强大泛化能力。

G. Model Complexity Analysis

我们使用多种指标评估所提框架的计算复杂度，包括浮点运算次数（FLOPs）、模型参数、内存占用、运行时间（秒）和每秒帧数（FPS）。FLOPs衡量模型的复杂性，而模型参数和内存占用则分别评估网络规模和内存需求。最后，运行时间和FPS分别量化了训练速度和推理速度。理想情况下，一个高效的模型在FLOPs、模型参数、内存占用和运行时间上保持较低值，同时在FPS上达到更高值。

表V展示了本研究中考虑的所有比较语义分割模型的复杂度分析结果。对表V的检查表明，我们的方法并未引入额外的模型复杂性或推理时间。在我们的框架中，生成SGO和SGB是其在损失计算中利用之前的必要步骤，因此不需要额外的任务特定模块。然而，观察到我们的方法延长了训练时间，因为梯度反向传播的计算时间随着两个额外损失函数的引入而增加。另一方面，在推理阶段，如图3（b）所示，所提方法与原始模型的操作完全相同，确保对推理速度没有影响。考虑到在其他方面观察到的提升，我们认为训练时间的轻微增加是合理的权衡。这些结果突显了我们框架在当前语义分割模型中的显著可扩展性和广泛应用。

五、 CONCLUSION

本研究提出了一个简单而多功能的框架，旨在充分利用SAM的原始输出与通用遥感影像语义分割模型相结合。考虑到遥感图像与自然图像之间的差异，以及SGO和SGB的特征，我们开发了一种辅助优化策略，通过利用两个损失函数，即物体一致性损失和边界保留损失，来实现改进。这一策略在不同网络结构下改善基础语义分割任务，无需额外模块。值得注意的是，我们引入的物体一致性损失，源于对物体一致性的考虑，代表了首个能够直接利用SGO而不依赖语义信息的损失函数。我们在两个公开可用的数据集和四个全面的语义分割模型上的验证，突显了我们框架的稳健性能。最后，值得强调的是，本研究开启了对SAM原始输出的初步探索，揭示了SAM等大型模型在遥感领域的潜力。

欢迎宝子们点赞、关注、收藏！欢迎宝子们批评指正！
祝所有的硕博生都能遇到好的导师！好的审稿人！好的同门！顺利毕业！

大多数高校硕博生毕业要求需要参加学术会议，发表EI或者SCI检索的学术论文会议论文：
可访问艾思科蓝官网，浏览即将召开的学术会议列表。会议入口：https://ais.cn/u/mmmiUz