学过SAM的朋友都知道,SAM需要对训练数据进行全面的手动标记,每张图像都要超过20分钟...效率有待提升。那么如何解决这个短板?我们考虑SAM+无监督学习。
这是因为无监督学习具有无需人工标注数据的特点,通过将两者结合,我们就可以在资源有限或标注成本较高的情况下,更有效地处理数据,同时不损失性能。
因此在很多领域,特别是医学图像分割等,这种高效、灵活又强大的数据处理和模式识别方法是我们的首选,自然也成了研究热点,相关成果效果绝佳,比如开创数据零标注时代先河的UnSAM,以及CVPR 2024的UnSAMFlow。
除此以外,还有一些很值得学习的无监督学习+SAM新方法,我从中挑选了9篇,简单提炼了可参考的创新点,希望可以给同学们提供论文灵感。
论文原文+开源代码需要的同学看文末
Segment Anything without Supervision
方法:本文介绍了一种名为UnSAM的无监督学习方法,能够在没有监督的情况下进行交互和整图分割。UnSAM采用了一种分而治之的策略来“发现”视觉场景的层次结构,利用自上而下的聚类方法将未标记的图像分割成实例/语义级别的区域,然后使用自下而上的聚类方法迭代地将像素合并成更大的组,形成层次结构。