2023年4月6号,Meta AI公开了Segment Anything Model(SAM),使用了有史以来最大的分割数据集Segment Anything 1-Billion mask dataset(SA-1B),其内包含了1100万张图像,总计超过10亿张掩码图,模型在训练时被设计为交互性的可提示模型,因此可以通过零样本学习转移到新的图像分布和任务中。
许多研究人员认为「这是 CV 的 GPT-3 时刻,因为 SAM 已经学会了物体是什么的一般概念,甚至是未知的物体、不熟悉的场景(如水下、细胞显微镜)和模糊的情况,并展示了作为 CV 基本模型的巨大潜力。
其目标是在给定任何分割提示下返回一个有效的分割掩码,并在一个大规模且支持强大泛化能力的数据集上对其进行预训练,然后用提示工程解决一系列新的数据分布上的下游分割问题。
本专栏将详细解读与SAM模型相关的论文,每篇文章详细介绍了模型的发表时间,论文及代码出处,摘要,前言,模型结构以及实验流程等等,内容详细且逻辑顺序清晰,包含了原论文中全部重要的关键点,将带领大家了解SAM领域的全面知识点。
1. 轻量化
1.1 SAM变体
Fast-SAM(2023年6月21日):
SAM轻量级改进Fast-SAM论文解读Fast Segment Anything_fast-sam 代码解读-CSDN博客
Mobile-SAM(2023年7月1日):
SAM轻量级改进Mobile-SAM论文解读FASTER SEGMENT ANYTHING: TOWARDS LIGHTWEIGHT SAMFOR MOBILE APPLICATIONS-CSDN博客
Efficient-SAM(2023年12月1日):
RepViT-SAM(2023年12月10日):
SAM轻量级改进RepViT-SAM论文解读RepViT-SAM: Towards Real-Time Segmenting Anything_repvit sam-CSDN博客
Edge-SAM (2023年12月11日):
SAM轻量级改进EdgeSAM论文解读EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM-CSDN博客
EfficientViT-SAM(2024年2月7日):
SAM轻量级改进EfficientViT-SAM论文解读EfficientViT-SAM: Accelerated Segment Anything ModelWithout-CSDN博客
SAM-Lightening (2024年3月14日):
其中几篇都应用了知识蒸馏方法,本系列也还总结了知识蒸馏相关知识:
Mobile-SAM使用的知识蒸馏方法论文讲解Distilling the Knowledge in a Neural Network_蒸馏sam-CSDN博客
1.2 SAM轻量化应用
Auto-SAM、Group-Mix SAM、RAP-SAM、STLM:
SAM轻量化应用Auto-SAM、Group-Mix SAM、RAP-SAM、STLM-CSDN博客
2. 掩码质量
HQ-SAM(2023.6月2日):
SAM掩码质量改进HQ-SAM论文解读Segment Anything in High Quality_sam-hq-CSDN博客
PA-SAM(2024年1月23日) :
SAM掩码质量改进PA-SAM论文解读PA-SAM: Prompt Adapter SAM for High-QualityImage Segmentation-CSDN博客
3. 应用
3.1 多目标跟踪与分割(MOTS)
TAM(2023年4月28日):
SAM多目标跟踪与分割TAM论文解读Track Anything: Segment Anything Meets Videos-CSDN博客
SAM-track(2023年5月11日):
SAM多目标跟踪与分割SAM-track论文解读Segment and Track Anything-CSDN博客
后续将更新补充还未发表的其他文章,感兴趣的同学点关注,将持续更新