SAM 模型真的是强悍到可以“分割一切”了吗？

最新推荐文章于 2025-04-12 12:20:24 发布
最新推荐文章于 2025-04-12 12:20:24 发布
阅读量2.7k 收藏 22
点赞数 5
文章标签： 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moxibingdao/article/details/130164612
版权
Meta AI发布的SAM模型被吹捧为图像分割的强大工具，但新报告表明它在伪装物体分割任务上仍存在显著差距。通过与尖端模型对比和在自然、工业及医疗场景的实验，SAM在处理复杂伪装和细微差异时表现不足，揭示了CV研究仍有挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关注公众号，发现CV技术之美

5922afe98e5a3f36d1f10042f5a389c7.gif

97e0a754a7cac76246e86ad3a05bc85e.gif

上周，Meta AI发布了 Segment Anything Model（SAM）—— 第一个图像分割基础模型。很多计算机视觉从业者惊呼“这下CV真的不存在了，快跑！”。但是SAM 模型真的是强悍到可以“分割一切”了吗？它在哪些场景或任务中还不能较好地驾驭呢？

研究社区已经有一些相关工作对这一问题进行探索，今天向大家介绍一篇昨天刚出的技术报告：SAM Struggles in Concealed Scenes -- Empirical Study on "Segment Anything"。

         8668c8b770cd954baa20240182e43837.png

论文地址：https://arxiv.org/abs/2304.06022

该技术报告选择了在伪装物体分割任务上进行实验验证，发现SAM模型与当前尖端的伪装物体分割模型依旧有很大的差距，并通过对伪装动物、工业缺陷、医疗病灶中多个案例进行可视化分析，得出一些有趣的结论。

在讨论具体实验之前，我们先借助一张图片来了解一下什么是“伪装物体”，如左图和右图中分别隐藏了七只和六只小鸟，你发现了吗？生物学家把这种现象称为背景匹配伪装，用于表示一个或者多个生物为了防止被发现，尝试将其颜色与周围环境“无缝地”匹配，这

最低0.47元/天 解锁文章
分割一切，SAM模型详解和使用
程序猿追的博客
07-27 2985
随着深度学习在计算机视觉领域的应用，图像分割技术得到了显著的发展。然而，大多数模型都是针对特定任务或数据集设计的，缺乏泛用性。Meta AI的研究团队开发了一个新的模型架构，该模型能够接收各种提示（如点、框、文本等）来执行图像分割任务。这跳脱了传统的分割任务的局限性，使得分割任务变得更加简单。 SAM模型使得高级图像分割技术变得更加易于使用和普及，让非专业人士也能轻松处理复杂的图像分割任务。
[医学分割大模型系列] (1) SAM 分割大模型解析
qq_38736504的博客
03-22 2372
[TOC]([医学大模型系列] (1) SAM 分割大模型解析)
Segment Anything：SAM系列模型（SAM、EfficientSAM、MobileSAM、MobileSAM-v2、FastSAM）
越努力，越幸运
01-19 5790
这种设计受到《基于Trasformers的端到端目标检测》和Maskformer的启发，使用了一个修改的Transformer解码器block，后跟一个动态掩码预测头。修改后的解码器block在两个方向（提示到图像嵌入和图像嵌入到提示）上使用自注意力和交叉注意力来更新所有嵌入。在运行两个Block后，对图像嵌入进行上采样，并通过MLP层将输出标记映射到一个动态线性分类器（该分类器用于计算每个图像位置的掩码前景概率）。密集提示（即掩码）使用卷积进行嵌入，并与图像嵌入进行逐元素求和。
计算机视觉算法实现——SAM实例分割：原理、实现与应用全景
最新发布
m0_65481401的博客
04-12 1555
实例分割(Instance Segmentation)是计算机视觉领域最具挑战性的任务之一，它要求算法不仅能识别图像中的每个物体类别，还要精确区分同一类别中的不同个体实例。与语义分割(Semantic Segmentation)只关注像素级分类不同，实例分割需要同时完成物体检测和像素级分割两项任务，为每个独立物体实例生成精确的掩模(mask)。在众多实例分割算法中，Meta AI于2023年推出的引起了业界轰动。SAM以其零样本迁移能力和强大的泛化性能。
SAM（分割一切模型）的简单调用
m0_62252120的博客
12-23 4737
个人近期学习总结~
SAM图像分割，实操应用，详细案例（点操作）
2401_83174937的博客
10-03 2107
SAM算法，图像分割，详细案例，细节剖析
图像分割之SAM（Segment Anything Model）
年轻即出发，
05-11 1万+
该模型有别于传统的分割模型。传统分割模型只能输入原图输出固定的分割结果，SAM在设计上可以同时输入原图和特定提示（点、框、阴影、文本），然后根据不同的提示输出不同的分割结果图，并且SAM支持不同提示的交互式分割。SA-1B覆盖了更广泛的图片区间，比第二大分割数据集多了11倍的图片400倍的mask。随着提示点的数量的增加，SAM的分割效果越来越高，随着提示点从1到9的增加，SAM方法和其他分割方法之间的gap越来越小。在论文的交互式分割任务中，有的提示信息，比如点的提示，存在模棱两可的情况。
万字长文从零解读SAM(Segment Anything Model)大模型！万物皆可分割！(含源码解析)
强化学习曾小健
02-27 2676
首先，mask进入一个1x2x2x4的卷积，stride=2；在非全局注意力的Block中，将attention层输出的特征图1x70x70x768转化为1x64x64x768的特征图，实际上是通过切片操作x = x[:1, :64, :64, :]，从1x70x70x768的特征图中取出左上角的1x64x64x768部分。如下图(a)所示，模型的输入是原始的图像和一些prompt，目标是输出"valid"的分割，所谓valid，就是当prompt的指向是模糊时，模型能够输出至少其中一个mask。
segment anything官网
09-06
- *2* [【多模态】14、Segment Anything | Meta 推出超强悍可分割一切的模型 SAM](https://blog.csdn.net/jiaoyangwm/article/details/129992682)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630",...
SAM - 分割一切图像【AI大模型】
新缸中之脑
04-09 1万+
如果你认为 AI 领域已经通过 ChatGPT、GPT4 和 Stable Diffusion 快速发展，那么请系好安全带，为 AI 的下一个突破性创新做好准备。推荐：用快速搭建3D场景。Meta 的 FAIR 实验室刚刚发布了 Segment Anything Model (SAM)，这是一种最先进的图像分割模型，旨在改变计算机视觉领域。SAM 基于对自然语言处理 (NLP) 产生重大影响的基础模型。它专注于可提示的分割任务，使用提示工程来适应不同的下游分割问题。为什么我们对 SAM 如此兴奋？
深入浅出视觉分割大模型SAM（原理解析+代码实践）
dejahu的博客
09-03 2万+
大家好，这里是肆十二，近两年来大模型的成果在一些领域的应用已经深入人心，由于我本人主要感兴趣的方向为计算机视觉，所以今天我们来一起看下计算机视觉领域中这个非常精彩的大模型-SAM。我在B站也同步更新了对应的讲解视频，感兴趣的小伙伴也可以按照视频来进行操作。
一文了解视觉分割新SOTA: SAM (Segment Anything Model)
热门推荐
GarryWang1248的博客
12-21 2万+
2023年是AI技术突飞猛进的一年，如果您认为AI领域已经通过 ChatGPT、GPT4 和 Stable Diffusion 获得了快速发展，那么请不要忽略下一个突破性创新: SAM。Meta 的 FAIR 实验室发布的，是一种最先进的图像分割模型，旨在改变计算机视觉领域。SAM 基于对自然语言处理 (NLP) 产生重大影响的基础模型（Foundation Model）。它专注于提示分割任务 （promptable segmentation tasks），使用提示工程来适应不同的下游分割问题。
SAM(分割一切)：从SAM、FastSAM、Grounded SAM到SAM2、SAMURAI——从分割图像到分割视频
结构之法 算法之道
07-02 1万+
SAM就是一类处理图像分割任务的通用模型。与以往只能处理某种特定类型图片的图像分割模型不同，SAM可以处理所有类型的图像。在SAM出现前，基本上所有的图像分割模型都是专有模型。比如，在医学领域，有专门分割核磁图像的人工智能模型，也有专门分割CT影像的人工智能模型。但这些模型往往只在分割专有领域内的图像时，才具有良好性能，而在分割其他领域的图像时往往性能不佳。
实例分割、语义分割和 SAM（Segment Anything Model）
2301_76846375的博客
10-06 4610
实例分割、语义分割和都是图像处理中的重要技术，它们的目标是通过分割图像中的不同对象或区域来帮助识别和分析图像，但它们的工作方式和适用场景各有不同。
【Meta-AI】Sam-分割一切 测试
这个人很懒什么都没有~
04-24 3090
近日，Meta AI在官网发布了基础模型 Segment Anything Model（SAM）并开源，其本质是用GPT的方式（基于Transform 模型架构）让计算机具备理解了图像里面的一个个“对象”的通用能力。图像分割是计算机视觉中的一项重要任务，有助于识别和确认图像中的不同物体，把它们从背景中分离出来，这在自动驾驶（检测其他汽车、行人和障碍物）、医学成像（提取特定结构或潜在病灶）等应用中特别重要。下载三个权重文件中的一个，我用的第一个，三个模型从大到小，8G以下显存选vit_b。
【图像分割】SAM
lly_csdn123的博客
11-19 1815
SAM(Segment Anything Model)，为分割一切,由Facebook的Meta AI实验室在2023年发布，能够根据文本指令或图像识别，实现对任意物体的识别与分割。论文地址：https://arxiv.org/abs/2304.02643项目地址：https://github.com/facebookresearch/segment-anythingSAM从任务（task）、模型（model）、数据（data）3部分展开。
SAM模型
qq_47432746的博客
03-05 2461
Task:向模型输入图片以及分割提示，可以是点、框、文本，模型生成相应的分割掩膜。图像编码器计算图像嵌入；提示编码器嵌入提示；mask decoder整合两者信息，输入最终的mask。SAM模型的官方demo，可以更快理解交互式分割提高模型的在新数据分布上面泛化能力，需要一个庞大的数据集训练模型。我们的数据引擎有三个阶段：辅助手动，半自动和全自动。在第一阶段，SAM协助注释者注释Mask，类似于经典的交互式分割设置。
文献阅读笔记：SAM大模型（Segment Anything）
weixin_45409613的博客
03-17 1万+
本周学习了SAM大模型，该大模型用于图像分割的新任务、模型和数据集。该模型的设计和训练具有快速性，因此它可以将零样本转移到新的图像分布和任务。通过评估SAM在众多任务上的能力，该大模型的零样本性能与之前完全监督的结果相媲美甚至优于之前的结果。本文将详细介绍SAM模型。作者在这篇文献中介绍了SAM大模型：该大模型用于图像分割的新任务、模型和数据集。作者构建了迄今为止最大的分割数据集，在 1100 万张许可且尊重隐私的图像上包含超过 10 亿个mask。该模型的设计和训练具有快速性，因此它可以将零样本。
sam模型分割一切使用教程
01-13
### SAM模型分割任务使用教程 #### 选择合适的预训练权重文件 对于SAM模型而言，默认提供了三种不同大小的预训练权重文件供使用者下载，分别是`defaultorvit_h:ViT-H SAM model`、`vit_l:ViT-L SAM model`以及`vit_b:ViT-B SAM model`[^2]。 #### 安装依赖库并加载模型 为了顺利运行SAM模型，需先安装必要的Python包。通常情况下，这涉及到PyTorch和其他辅助库的安装。完成环境搭建之后，可以通过如下方式来加载选定的SAM模型： ```python import torch from segment_anything import sam_model_registry, SamPredictor device = "cuda" if torch.cuda.is_available() else "cpu" sam_checkpoint = "./path/to/checkpoint.pth" # 替换成实际路径 model_type = "vit_h" sam = sam_model_registry[model_type](checkpoint=sam_checkpoint).to(device=device) predictor = SamPredictor(sam) ``` #### 准备输入数据 当准备就绪后，下一步就是准备好待处理的图像作为输入给到SAM模型。这里假设已经有一张名为`image.png`的目标图片位于当前工作目录下： ```python import cv2 import numpy as np input_image_path = 'image.png' image = cv2.imread(input_image_path) if image is None: raise ValueError(f"{input_image_path} not found.") image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 将图像传递给预测器以便后续操作 predictor.set_image(image) ``` #### 执行交互式分割 不同于传统方法需要预先指定特定类别的标签信息，SAM支持通过简单的人机互动来进行更加灵活高效的分割作业。比如，可以直接在画面上点击感兴趣的对象位置或者绘制边界框以指导算法更好地理解用户的意图： ```python def onclick(event): global coords ix, iy = event.xdata, event.ydata print(f'x={ix:.0f}, y={iy:.0f}') coords.append((int(ix), int(iy))) coords = [] plt.imshow(image); plt.axis('off') cid = fig.canvas.mpl_connect('button_press_event', onclick) plt.show() masks, scores, logits = predictor.predict( point_coords=np.array(coords), point_labels=np.ones(len(coords)), # 假设所有标记点都属于前景对象 multimask_output=False, ) mask = masks[0] ``` 上述代码片段实现了基于鼠标点击事件获取坐标，并利用这些坐标点引导SAM执行精准分割的功能[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值