【SAM系列】An Alternative to WSSS? An Empirical Study of SAM on WSSS Problems

论文链接：https://arxiv.org/pdf/2305.01586.pdf
论文代码：暂无

目的

WSSS旨在弱标签的情况下，生成高质量的分割伪标签，然后用于全监督的语义分割训练。本文探索用SAM来生成伪标签来替代WSSS方案。

为什么不直接用SAM分割而利用SAM生成伪标签

看这篇文章的时候显然会有这样的疑惑，论文将解释摆在后面部分，在这我把它提到前面，提前解惑。
主要是WSSS方案在一些特定场景还是挺有意义的。比如在许多narrow-domain cases，只有特定的语义类是感兴趣的，这使得开放词汇设置变得不必要，甚至容易引入错误。此外，通常资源有限且时间敏感的工业或移动环境无法适应SAM的使用，因为SAM的VRAM usage很大，推理速度低。在这种情况下，以 WSSS 方式为下游任务训练特定的语义分割网络仍然有意义。

方法

借助Grounding anything来得到class-specific mask（pseudo label），然后用deeplap-v2训练全监督语义分割。
https://github.com/IDEA-Research/Grounded-Segment-Anything

实验

可以看到，伪标签（分割质量）挺不错。

---

基于伪标签全监督训练的分割结果。

SAM得到伪标签的缺点

作者将它称为 semantic obscurity

跟上一篇SAM系列提到的问题是相同的。大概是因为SAM的分割标注更加细粒度。

暂时的缓解方案