TGRS 2023.11使SAM完美的无监督阴影检测

本文利用 SAM提出了一个用于深度无监督阴影检测 （USD） 的无注释框架。利用传统的 USD 方法生成伪标签，然后利用提出的一种亮度和纹理引导更新 （ITU） 策略来提高伪蒙版的质量。我们设计了一个掩码多样性指数（MDI），为增量课程学习建立从易到难的子集。

我们的框架包括三个步骤:1)伪掩码生成;2)提示式微调;3)两项有效的训练策略，包括基于itu的选择性自我培训和基于mdi的增量课程学习。

伪标签生成：利用传统的5种USD算法取平均后使用条件随机场(CRF)进行边缘细化和噪声抑制得到最终伪标签。但这些伪掩码的质量仍然明显低于手动注释。

因为无监督所以不用提示编码，因此引入一个额外的网络来取代提示编码器。通过注入一组两层多层感知器（MLP）块（即ShadowSAM）来保持SAM的内部知识，并从阴影数据集中提取特定任务的线索。

(a)SAM(b)ShadowSAM

ITU

在自我训练中，基于深度学习的阴影检测器有可能在训练阶段捕获更大范围的阴影模式。因此，与初始伪标签相比，从这些检测器推断出的阴影图有望显示出更好的质量。我们的想法是保持初始的伪掩码，直到模型可以生成更好的掩码。

我们首先在训练开始时将初始伪掩码yi和深阴影映射yi作为两个候选图像。然后，我们设计一个标准来选择更好的:更准确的阴影区域应该包含更低的亮度和更弱的纹理信息。因此，我们计算这两个候选图像的光照和纹理得分，保留高的:score(y) = α·L(y) +(1−α)·T (y)

在实践中，大多数初始的伪掩模不会在早期训练阶段立即更换，有些更换后的伪掩模还可能再次更换。这样，我们就可以逐步减轻“训练目标”中噪音标签的影响。

MDI

基于mdi的渐进式课程学习将训练数据从容易分解到困难，为模型收敛提供了更好的方向。我们可以通过预测一致性对未标记的图像进行排序。形式上，对于一个未标记的图像ui，在m种不同的传统USD方法的结果下，我们引入一个MDI来获得反映困难程度的一致性值：

mdi=1代表预测结果是完全一致的， Ui是一个简单的样本，然后划分C个阈值实施最终算法：