摘要
在遥感技术日新月异的今天,数据的处理与分析成为了推动科技进步的关键环节。人工智能、深度学习、大数据的出现给遥感影像解译带来了新的技术与数据生产方式。而智能解译是建立在样本的数量与质量上的。Segment Anything Model(SAM)模型在遥感数据样本制作中展现了其独特的优势与革新作用,引起了业界的广泛关注。
SAM模型简介
SAM模型(Segment Anything Model)是Meta AI于2023年4月推出的一项创新技术,旨在解决图像分割任务,展示了前所未有的通用性和灵活性。
它基于深度学习架构,能够识别和分割图像中的各种对象,无需针对特定场景或对象训练独立的模型。与其他分割模型不同,他可以通过各种输入(包括点击、框或文本)作为提示,从而使用户使用更加方便和高效。
SAM的开发利用了史上最大的分割数据集SA-1B,包含超过10亿个掩码图和1100万张图像,实现了通过零样本学习在多种图像分布和任务中的快速适应。
AM的独特之处在于为了彻底改变计算机视觉和分割领域而构建的架构,主要包含三个核心要素:
任务(task): 通过prompts来生成有效的mask;
模型(model): 采用image encoder, prompt encoder和轻量级的mask decoder来实现支持灵活的prompts输入,且能够实时的生成mask;
数据集(data):依靠交互式标注以及数据自动/半自动标注来迭代出Segment Anything数据集(SA1B)。
SAM在遥感数据样本制作中的作用
1. 高效的数据标注
在遥感领域,数据标注是一项既耗时又耗力的工作。传统的标注方法往往需要人工逐一识别图像中的目标对象,并手动绘制边界。而SAM模型则能够自动或半自动地完成这一过程,大大提高了标注效率。通过Prompt机制,用户可以快速指定需要分割的对象,SAM模型则能够基于这些信息生成高精度的分割结果。
2. 降低制作成本
由于SAM模型能够实现高效的自动或半自动标注,因此可以显著降低遥感数据样本的制作成本。传统的标注方法需要大量的人力投入,而SAM模型则能够在较短时间内完成大量数据的标注工作,从而为企业节省大量的人力成本和时间成本。
3. 推动遥感技术的发展
SAM模型在遥感数据样本制作中的成功应用,不仅提升了数据的质量和数量,还推动了遥感技术的进一步发展。高质量的遥感数据样本是训练深度学习模型的重要基础,而SAM模型正是通过提供这些样本,促进了遥感图像分析、目标检测、变化监测等领域的技术创新。
FeatureStation内置多种SAM模型
FeatureStation内的SAM模型会根据这些提示,结合其预训练的知识,自动推断出与这些提示相关的区域或对象的边界,提高地物提取效率,更好地践行人机协同理念。
FeatureStation内嵌Mobile SAM、Light HQ-SAM、EdgeSAM3X、SAM VIT_H、SAM VIT-L、SAM VIT-B、HQ-SAM等7种SAM模型。用户可根据情况选择适宜模型。
Mobile SAM:轻量化的分割一切大模型,模型缩小60倍,速度提高40倍,效果不减。
Light HQ-SAM:该模型具有高效性、准确性、鲁棒性等优点,但同时存在容易过拟合、内存消耗大等问题。
EdgeSAM3X:模型体积小,可用于移动设备。
SAM VIT-H(High resolution):是Vision Transformer模型中的高分辨率变体。它通常适用于处理高分辨率图像或更具挑战性的视觉任务。由于处理高分辨率图像可能需要更多的计算资源和内存,因此ViT-H模型可能更庞大和复杂。
SAM ViT-L(Low resolution):是Vision Transformer模型中的低分辨率变体。它通常用于处理低分辨率图像或资源受限的环境。ViT-L模型可能比ViT-H模型更小、更轻量级,适合在资源受限的设备或场景中部署。
SAM ViT-B (Base resolution): 是Vision Transformer模型中的基准分辨率变体。它可以被视为ViT模型的中间规模。ViT-B通常是指在资源充足但不需要处理过高或过低分辨率图像时使用的模型。
HQ-SAM:使SAM具备准确分割任何对象的能力,同时保持 SAM 原有的提示设计、效率和零样本泛化能力。
用户通过在图像中绘制点、线、矩形,来指示模型关注某个区域或对象。SAM模型根据这些点、线、矩形提示,自动提取目标地物边界。
点提示
线提示
矩形提示
关注微信公众号:遥感影像人机协同智能解译系统,点击“试用申请”,免费试用;扫描技术支持二维码,加入技术支持群,随时联系技术人员,解决使用问题。
结语
Segment Anything Model(SAM)模型在遥感数据样本制作中展现了其独特的优势与革新作用。通过高效的数据标注、提升分割精度、降低制作成本以及推动遥感技术的发展,SAM模型正逐步成为遥感领域不可或缺的重要工具。我们有理由相信,在未来的发展中,SAM模型将继续发挥其重要作用,为遥感技术的进步贡献更多力量。