基于SAM的光学遥感影像与地图数据变化检测

CHANGE DETECTION BETWEEN OPTICAL REMOTE SENSING IMAGERY AND MAP DATA VIA SEGMENT ANYTHING MODEL (SAM)

我们探讨了两个关键遥感数据源:光学高分辨率图像和OpenStreetMap (OSM)数据之间的无监督多模态变化检测。我们提出了两种利用SAM来检测土地覆盖变化的策略。第一种在一般情况下检测土地覆盖的变化，而第二种战略的目标是检测在背景下出现的新的土地覆盖物体。（这两种方法要同时用，而不是一个方法）

(a)在没有提示的情况下通过比较实例的形状来检测土地覆盖的变化。

(b)根据实例地图提示检测土地覆盖的变化。

方法1：无提示

如图1-(a)所示，第一种方法让SAM对光学图像中的所有内容进行分割，生成其分割图。同时，我们在栅格化的OSM数据上应用连接分量标记(CCL)算法生成其实例映射。该过程将光学图像和OSM数据在同一域(我们称之为分割域)内对齐，从而消除它们之间的模态差异。随后，为了从获得的分割图和实例图中检测土地覆盖的变化，我们认为如果发生变化事件，两个土地覆盖对象应该具有不同的形状。这样，就可以通过比较同一位置两个实例的面积、纵横比等形状属性来获得土地覆盖的变化。

但是，SAM的掩模没有类别信息，每个掩模可能不能代表一个完整的土地覆盖实例。例如，一座建筑可能由几个掩模组成。因此，我们提出了一种以OSM数据实例为指导的分层聚合方法。具体来说，对于OSM数据中的每个实例，我们在分割映射中找到与之有交集的所有掩码，并从实例中心向外迭代地合并这些掩码。在每次合并操作之后，我们计算合并后的掩码与实例的重叠率。如果在合并过程中重叠率超过设定的阈值，则认为实例未改变，否则认为实例已更改。

方法2：实例映射提示

上述策略可以有效地检测两个实例发生变化的情况。然而，当新的土地覆盖对象出现在土地覆盖背景中时，它会遇到困难。例如，在OSM数据上，某一大片区域是植被，而在光学图像中出现了建筑物。在这种情况下，上述策略将整个背景区域视为不变，并且无法检测到新兴建筑。因此，我们提出了一种策略，该策略采用OSM数据中的实例作为SAM的提示。如图1-(b)所示，我们可以使用OSM数据的背景实例来指导SAM的分割，这些实例可以从OSM数据的图例中获得，以框或掩码提示的形式。在这种情况下，SAM一般会对光学图像中的背景进行分割。出现在背景中的陆地覆盖物体将被视为异常，因此不会被分割出来。