遥感中的 SAM 分割

在深度学习开发领域，基本事实（分段/分类的输入数据）是最重要的评估。为了通过深度图生成加速分割过程，SAM（元分割任何模型）可以改变当前工作流程的游戏规则。

对于深度图和 SAM 模型，这些都是基于图像的方法来定义目标特征边界。深度图利用相机视觉，然后相应地生成捕获视觉的深度。 SAM 模型基于沿栅格指向的对象和种子的掩蔽。它们都被归类为“无监督”机器学习/图像分割过程，以预先分配类别并将分割细节丰富到下一个级别。

原始图像、深度图和 SAM 模型输出

在上一篇文章中，我们已经探索了深度图和无监督学习的能力。它可以通过相机的深度方向进行分割和提取，在本文中，我们将把 SAM 用于城市林业和遥感应用。

它对摄影测量和遥感有何帮助

基于 RGB 的 SAM 输出、绿带 SAM 输出、基于 RGB 的深度图和绿带深度图输出

在传统的遥感中，我们需要手动定义掩模和边界，例如目标的边界和掩模的裁剪。现在，深度图和 SAM 模型可以帮助我们在半自动化工作流程中更快地定义 AOI、感兴趣区域。

SAM模型在边界裁剪中的应用

Google Earth 网格模型（顶视图）及其 SAM 模型输出

SAM模型可以在城市地区有效工作，例如来自Google Earth网格模型的样本数据，它可以定义植被覆盖、道路（天桥）、建筑物和水体。

农村地区航拍图像选图，RGB及其分割结果（上图）和NIR-RG及其分割结果（下图）

另一方面，当定义垂直航空图像的植被覆盖时，SAM 模型可能无法很好地工作。我尝试过两个样本，RGB颜色和NIR-RG颜色组合，它只能定义鱼塘和聚落。 SAM模型无法定义植被覆盖度。

由于 SAM 使用基于掩模的方法，该方法仅自动为用户分割粗略边界。由于输出结果会进行简化，因此需要进行评估和细化的过程来丰富分类结果，确实它确实帮助我们加快了分类过程很多。

使用 SAM 进行树提取的挑战

植被与树木并存，树木之间没有遥远的界限。因此，我们需要利用SAM模型的不同数据和属性来提取树。

某些树无法用当前的 SAM 模型提取

使用 SAM 模型从 Google Earth 中提取网格模型

探索 SAM 的遥感能力

Meta SAM模型可以跨不同领域实施，包括但不限于

• 棕地管理
• 土地覆盖和土地利用制图
• 违建建筑分类和检测等等……

分割结果可以转换为面积 (m²)、要素类和属性。

香港新界农田及棕地样本