集智书童 | SAM2 在图像分割中是否优于 SAM ?

最新推荐文章于 2025-03-08 17:12:13 发布
最新推荐文章于 2025-03-08 17:12:13 发布
阅读量1.2k 收藏 26
点赞数 8
分类专栏： 深度学习拓展阅读 文章标签： 计算机视觉 人工智能 python 深度学习 图像处理 目标检测 SAM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_xmj/article/details/141302145
版权

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

原文链接：SAM2 在图像分割中是否优于 SAM ?

任何部位分割模型（SAM）在自然图像的零样本提示可分割性方面表现出色。最近发布的任何部位分割模型2（SAM 2）声称在图像方面的性能优于SAM，同时将模型的能力扩展到视频分割。在一个零样本提示可分割性的医疗图像中评估最近模型的能力非常重要。在本研究中，作者对来自不同成像模式的多个数据集进行了广泛研究，以比较SAM和SAM 2之间的性能。

作者使用了两种提示策略：（i）在目标结构的核心附近使用单阳性提示，（ii）在目标结构内随机放置额外的阳性提示。

评估包括来自公开的MRI、CT和超声数据集的21种独特的器官-模态组合，包括腹部结构、心脏结构和胎儿头图像。基于2D图像的初步结果表明，尽管SAM 2在某些情况下可能表现得略好于SAM，但总体上在医学图像分割方面，SAM没有超过SAM。尤其是在CT和超声图像中，SAM 2的表现不如SAM。

对于MRI图像，SAM 2的表现与SAM相当或更好。与SAM类似，SAM 2在分割边界模糊的情况下ÿ

最低0.47元/天 解锁文章
Meta发布最新图形分割模型SAM 2：实时视频分割性能大幅提升
weixin_41496173的博客
08-01 745
在人工智能领域，图形分割是一项重要的技术，它能够识别和提取图像或视频中的目标对象。Meta近期发布的SAM 2（Segment Anything 2）模型在这一领域取得了重大突破。本文将详细介绍SAM 2的创新之处及其在视频对象实时分割中的应用。
集智书童 | 从 Mamba 到 RWKV-SAM | 速度提高2倍，分类和语义分割都优于 Mamba 模型 ！
csdn_xmj的博客
09-24 1285
基于Transformer的分割方法在处理高分辨率图像时面临着有效推理的挑战。最近，一些线性注意力架构，如Mamba和RWKV，因其能够高效处理长序列而受到广泛关注。在这项工作中，作者通过探索这些不同的架构来设计一个高效的“分割任何物体”模型。 具体来说，作者设计了一个混合骨架，包含卷积和RWKV操作，它在准确性和效率上都取得了最佳效果。
SAM 2与SAM 1的对比及SAM 2的微调指南
u013818406的博客
10-11 3664
SAM 2的推出标志着图像和视频分割技术的又一大进步。通过对比SAM 2与SAM 1，我们可以看到SAM 2在功能性和技术细节上的显著提升。此外，通过微调SAM 2，我们可以进一步增强其在特定领域的分割能力，为各种应用场景提供更准确的分割结果。随着技术的不断发展，SAM 2无疑将成为图像和视频处理领域的重要工具。
比SAM速度快6倍的SAM2来了
wutao22的博客
07-31 1427
7月29日，META发布了Segment Anything Model 2 (SAM 2) ，一个通用的视觉分割系统，它不仅适用于图像，也适用于视频。它是对 Segment Anything (SA) 模型的升级，后者主要针对图像中的可提示分割。考虑到现实世界的视觉片段在视频中展现出的复杂动态特性，以及多媒体内容中视频数据的日益增长，因此SAM 2 提供了一种能够同时处理图像和视频的统一模...
【代码学习】Segment Anything 2-代码学习
最新发布
xianshuiyihui的博客
03-08 902
SAM2项目代码学习
SAM-2全面来袭，能够分割任意图像和视频，代码开源！
开着奔驰种地的博客
08-09 7151
SAM-2全面来袭，能够分割任意图像和视频，代码开源！
SAM(分割一切)：从SAM、FastSAM、Grounded SAM到SAM2、SAMURAI——从分割图像到分割视频
热门推荐
结构之法 算法之道
07-02 1万+
SAM就是一类处理图像分割任务的通用模型。与以往只能处理某种特定类型图片的图像分割模型不同，SAM可以处理所有类型的图像。在SAM出现前，基本上所有的图像分割模型都是专有模型。比如，在医学领域，有专门分割核磁图像的人工智能模型，也有专门分割CT影像的人工智能模型。但这些模型往往只在分割专有领域内的图像时，才具有良好性能，而在分割其他领域的图像时往往性能不佳。
SAM 2无法分割一切？SAM2-Adapter：首次让SAM 2在下游任务适应调优！
阿木寺的博客
08-09 3037
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和图像分割】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！2023年，Meta提出了SAM，在图像分割领域取得了突破的进展。但是，研究人员也发现了SA...
集智书童 | CNN 与 Transformer 的强强联合：AResNet-ViT在图像分析中的优势 ！
csdn_xmj的博客
08-11 1538
作者针对残差CNN分支的注意力引导设计进行了消融实验。同时，作者还分别对CNN分支和Transformer分支进行了架构消融实验，以及将两个分支结合使用的实验。此外，作者将提出的AResNet-ViT网络与经典分类模型的性能进行了比较，并对比了过去三年内发表的三篇论文的结果。
集智书童 | UniMatch V2 推进半监督语义分割极限，以更低训练成本实现更优的语义分割结果-建议收藏！
csdn_xmj的博客
11-06 1556
半监督语义分割（Semi-supervised semantic segmentation, SSS）的目标是利用便宜的无标签图像学习丰富的视觉知识，以提高语义分割能力。在最近的的工作中，UniMatch [1]极大地改进了其先驱，通过放大弱到强的一致性正则化实践。后续的工作通常遵循类似的工作流程，并提出各种精致的设计。
集智书童 | 深度学习与先验方法在遥感与无人机影像去雾中的应用与挑战！
csdn_xmj的博客
06-22 1176
雾霾条件，由诸如雨雪等自然现象以及城市和森林火灾等人造灾害引起，可以严重降低摄影、监控和遥感等应用中的图像质量。这种退化导致对比度降低和色彩偏移，最终阻碍计算机视觉（CV）模型的性能，导致目标检测、图像分类和图像分割结果不佳。因此，致力于从雾霾照片中提取清晰、高质量场景的研究数量在过去几十年里呈指数级增长。这一图像处理领域被称为_图像去雾_。在深度学习在CV和图像处理中广泛应用之前，图像去雾技术大多依赖于基于先验的方法，在这些方法中，对给定的雾霾图像应用了各种假设，以统计方式提取和计算其去雾参数。
新一代分割一切大模型SAM2（Segment Anything Model 2）介绍，可轻松分割图片与视频
阿旭的博客
07-31 3230
新一代分割一切大模型SAM2（Segment Anything Model 2）介绍，可轻松分割图片与视频
Meta再下一城：SAM 2
鲁班模锤
07-31 1440
“继用于图像SAM取得成功之后，我们发布了SAM 2，这是一种用于在图像和视频中实时进行对象分割的统一模型。” 模型适用于增强现实（AR）、虚拟现实（VR）、机器人、自动驾驶车辆和视频编辑等需要时间定位的应用。
【分割大模型】SAM2（Segment Anything2）新的分割一切大模型（原理+安装+代码）
qq_45752541的博客
08-14 1万+
Segment Anything Model 2（SAM 2）是由Meta公司发布的一个先进的图像和视频分割模型。它是Segment Anything Model（SAM）的升级版本，SAM是Meta的FAIR实验室发布的一款用于图像分割的基础模型，能够在给定提示的情况下生成高质量的对象mask。
利用SAM半自动标注--微调SAM2
weixin_45586769的博客
09-08 3529
SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。但是在利用 ISAT 打标签的过程中发现 SAM2 对裂缝的检测精度很差，这时候就需要微调SAM，让它学习标注。即使在 SAM 给出的结果不足的情况下，仍然可以通过在新数据上对其进行微调来显着提高模型的能力。
SAM 2最新应用落地！牛津大学团队发布Medical SAM 2，刷新医学图像分割SOTA榜
HyperAI超神经
08-26 1956
因为 3D 医学图像中相邻切片之间存在很强的时间关联，其处理方式也类似于处理视频数据，利用 SAM 2 原本的存储系统来检索先前的切片及其相应预测，以进行连续切片分割，随后通过记忆注意力机制增强输入图像嵌入，并将分割结果添加回存储区，以辅助后续切片的分割。本次论文的发布可谓是对 SAM 及 SAM 2 在医学领域潜力的又一次深挖，为医学图像分割领域提供了一种全新的思路与方法，尤其是在临床应用中展现了极大的潜力和价值，能够大幅缩减医学图像分割的工作量，提升医学图像分割效率和精准度。
SAM2：可提示的视觉分割新进展
博客之路,前途漫漫
11-24 2726
本文解释了SAM2要解决的PVS可提示的视觉分割任务，从模型组件开始逐步拆解SAM2，并总结了SAM1.0和SAM2.0模型的差别。本文还从代码角度讲解如何使用SAM2模型去分割图片和视频，并根据效果进行相应的输入微调，以改变输出效果。
SAM 2——视频和图像实时实例分割的全新开源模
01-27 816
过去几年，人工智能领域在文本处理的基础人工智能方面取得了显著进步，这些进步改变了从客户服务到法律分析等各个行业。然而，在图像处理方面，我们才刚刚开始。视觉数据的复杂性以及训练模型以准确解释和分析图像的挑战带来了重大障碍。随着研究人员继续探索图像和视频的基础人工智能，人工智能图像处理的未来有望为医疗保健、自动驾驶汽车等领域带来创新。对象分割是计算机视觉中的一项关键任务，它涉及精确定位图像中与感兴趣对象相对应的像素。传统上，这涉及创建专门的 AI 模型，这需要广泛的基础设施和大量带注释的数据。
SAM 2——视频和图像实时实例分割的全新开源模型
知来者逆的博客
08-21 2494
过去几年，人工智能领域在文本处理的基础人工智能方面取得了显著进步，这些进步改变了从客户服务到法律分析等各个行业。然而，在图像处理方面，我们才刚刚开始。视觉数据的复杂性以及训练模型以准确解释和分析图像的挑战带来了重大障碍。随着研究人员继续探索图像和视频的基础人工智能，人工智能图像处理的未来有望为医疗保健、自动驾驶汽车等领域带来创新。对象分割是计算机视觉中的一项关键任务，它涉及精确定位图像中与感兴趣对象相对应的像素。传统上，这涉及创建专门的 AI 模型，这需要广泛的基础设施和大量带注释的数据。
如何在Python中加载和使用Tiny WhisperModel？
11-25
在Python中加载和使用Tiny WhisperModel通常需要通过Hugging Face的Transformers库，这是一个广泛用于预训练模型交互的库。以下是基本步骤： 1. **安装依赖**: 首先确保已经安装了`transformers`库，如果没有可以使用pip安装： ```bash pip install transformers ``` 2. **加载模型**: 使用`from transformers import WhisperTokenizer, WhisperForConditionalGeneration`导入必要的类。然后通过`from_pretrained('whisper-tiny')`加载模型和分词器： ```python tokenizer = WhisperTokenizer.from_pretrained('whisper-tiny') model = WhisperForConditionalGeneration.from_pretrained('whisper-tiny') ``` 3. **编码输入**: 对于一段文本，可以使用tokenizer将它转换成模型可以理解的输入格式： ```python input_text = "你好，这是个测试" inputs = tokenizer.encode(input_text, return_tensors="pt") ``` 4. **生成文本**: 调用model的`generate`方法来生成新的文本： ```python generated_text = model.generate(inputs, max_length=50) decoded_text = tokenizer.decode(generated_text[0], skip_special_tokens=True) print(decoded_text) ``` 请注意，实际操作中可能还需要根据项目的具体需求调整参数，例如设置温度值、top_k或top_p等生成选项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值