m_buddy的博客

介绍：SAM是最近提出的一种通用分割大模型，其表现出了强大的零样本泛化能力，视觉感知模型的通用化又前进了一步。为了达到文章标题字面意义“segment anything”，那么就需要该算法具有强大的物体语义感知能力，在模型的设计阶段就不能对其所使用的类别进行假设，更类似于常见的交互式分割方法。像交互式分割这样的方法，在现有的大模型体系下提示的相关操作被描述为prompt。在SAM算法中就支持点、框、mask和文本四种不同的prompt，它的零样本泛化能力也是基于此。

基于ViT（Vision Transformer）自监督在最近几年取得了很大进步，目前在无监督分类任务下已经超过了之前的一些经典模型，同时在检测分割等基础任务领域也展现出了强大的泛化能力。这篇文章将主要基于DINO系列自监督算法介绍它们的算法原理，方便 大家快速了解相关算法。