SAM+无监督学习！能发顶会的高端局组合！idea效果绝佳_segment anything without supervision-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/142532051

学过SAM的朋友都知道，SAM需要对训练数据进行全面的手动标记，每张图像都要超过20分钟…效率有待提升。那么如何解决这个短板？我们考虑SAM+无监督学习。

这是因为无监督学习具有无需人工标注数据的特点，通过将两者结合，我们就可以在资源有限或标注成本较高的情况下，更有效地处理数据，同时不损失性能。

因此在很多领域，特别是医学图像分割等，这种高效、灵活又强大的数据处理和模式识别方法是我们的首选，自然也成了研究热点，相关成果效果绝佳，比如开创数据零标注时代先河的UnSAM，以及CVPR 2024的UnSAMFlow。

Segment Anything without Supervision

方法：本文介绍了一种名为UnSAM的无监督学习方法，能够在没有监督的情况下进行交互和整图分割。UnSAM采用了一种分而治之的策略来“发现”视觉场景的层次结构，利用自上而下的聚类方法将未标记的图像分割成实例/语义级别的区域，然后使用自下而上的聚类方法迭代地将像素合并成更大的组，形成层次结构。

创新点：

UnSAM：一种无监督学习方法，能够进行交互式和整图分割，无需监督。
UnSAM+：通过将无监督分割的结果与有监督分割的结果相结合，提高了有监督模型SAM的性能。
UnSAM通过一种分割策略，从原始未标记的图像中直接生成层次化的图像分割结果，实现了细粒度和多粒度的分割掩码，比以前的方法在无监督分割方面取得了显著的性能提升。

UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model

方法：本文提出了一种名为UnSAMFlow的无监督光流网络，结合SAM的目标信息，通过语义增强、单应性平滑损失和掩码特征模块等创新调整，显著提升在KITTI和Sintel数据集上的性能，实现了无监督方法的最新成果，同时展示出跨领域的良好泛化能力。

创新点：

提出了一种基于单应性的区域平滑损失，解决了传统边界感知平滑损失的局限性。
通过使用单应性平滑损失，生成非局部梯度，强制区域内的流动一致性，大大提升了训练优化的效果。
利用SAM的输出进行自监督语义增强，有效提升了无监督光流网络的表现。
通过引入掩码特征模块，聚合对象级特征，提高了光流估计的鲁棒性和清晰度。

Zero-Shot Edge Detection with SCESAME: Spectral Clustering-based Ensemble for Segment Anything Model Estimation

方法：论文提出了一种基于无监督学习方法和SAM的边缘检测技术，通过消除小噪声掩码、结合光谱聚类合并掩码以及去除边界伪影，解决了AMG边缘过度检测的问题。

创新点：

SCESAME通过结合谱聚类技术，优化了Segment Anything Model (SAM)在自动掩膜生成(AMG)中的应用，解决了过度检测问题。
引入边界零填充（BZP）策略，专门用于消除由于掩膜边界而引起的边界伪影。该步骤在边缘检测后处理阶段，通过将图像边界附近的像素填充为零，显著提高了检测精度。

A SAM-guided Two-stream Lightweight Model for Anomaly Detection

方法：论文使用无监督学习方法，结合了SAM来指导两个轻量级流（Two-stream）进行异常检测，通过两流模型从固定的SAM中提取不同信息，一流生成区分性特征，另一流重建正常图像，在MVTec等数据集上实现具有竞争力的检测效果。

创新点：

提出了一种SAM指导的双流轻量级模型（STLM）用于无监督异常检测。
设计一个共享的掩码解码器和特征聚合模块，以显著减少网络的计算量和参数数量，提高推理速度。
引入伪异常生成策略，通过在正常训练图像上添加伪异常，平衡正常与异常图像的数量。通过一个固定的SAM教师网络指导训练，将其知识蒸馏到双流轻量级模型中，有效提升异常区域的区分能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述