新一代分割一切大模型SAM2(Segment Anything Model 2)介绍,可轻松分割图片与视频

《博主简介》

小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~
👍感谢小伙伴们点赞、关注!

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发2.【车牌识别与自动收费管理系统开发
3.【手势识别系统开发4.【人脸面部活体检测系统开发
5.【图片风格快速迁移软件开发6.【人脸表表情识别系统
7.【YOLOv8多目标识别与自动标注软件开发8.【基于YOLOv8深度学习的行人跌倒检测系统
9.【基于YOLOv8深度学习的PCB板缺陷检测系统10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统
11.【基于YOLOv8深度学习的安全帽目标检测系统12.【基于YOLOv8深度学习的120种犬类检测与识别系统
13.【基于YOLOv8深度学习的路面坑洞检测系统14.【基于YOLOv8深度学习的火焰烟雾检测系统
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统16.【基于YOLOv8深度学习的舰船目标分类检测系统
17.【基于YOLOv8深度学习的西红柿成熟度检测系统18.【基于YOLOv8深度学习的血细胞检测与计数系统
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统20.【基于YOLOv8深度学习的水稻害虫检测与识别系统
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统22.【基于YOLOv8深度学习的路面标志线检测与识别系统
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统
27.【基于YOLOv8深度学习的人脸面部表情识别系统28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统
29.【基于YOLOv8深度学习的智能肺炎诊断系统30.【基于YOLOv8深度学习的葡萄簇目标检测系统
31.【基于YOLOv8深度学习的100种中草药智能识别系统32.【基于YOLOv8深度学习的102种花卉智能识别系统
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统42.【基于YOLOv8深度学习的无人机视角地面物体检测系统
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统44.【基于YOLOv8深度学习的野外火焰烟雾检测系统
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统48.【车辆检测追踪与流量计数系统
49.【行人检测追踪与双向流量计数系统50.【基于YOLOv8深度学习的反光衣检测与预警系统
51.【危险区域人员闯入检测与报警系统52.【高密度人脸智能检测与统计系统
53.【CT扫描图像肾结石智能检测系统54.【水果智能检测系统
55.【水果质量好坏智能检测系统56.【蔬菜目标检测与识别系统
57.【非机动车驾驶员头盔检测系统58.【太阳能电池板检测与分析系统
59.【工业螺栓螺母检测60.【金属焊缝缺陷检测系统
61.【链条缺陷检测与识别系统

二、机器学习实战专栏【链接】,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~

《------正文------》

SAM2简介

项目地址:https://github.com/facebookresearch/segment-anything-2

在这里插入图片描述
在这里插入图片描述
SAM 2是Meta Segment Anything Model(SAM)的下一代产品,主要是是用于解决图像和视频中提示视觉分割问题的基础模型。将 SAM 扩展到视频,方法是将图像视为具有单帧的视频。该模型设计是一个简单的 transformer 架构,具有用于实时视频处理的流式内存。

SAM 2模型是实时、可提示的,性能优于以往,特别是在视频分割方面。可以分割任何视频或图像中的任何对象,包括以前未见过的对象和视觉域。该模型在图像分割精度方面超越了以前的能力,并实现了比现有工作更好的视频分割性能。

从SAM 到SAM2 结构演变

SAM结构
在这里插入图片描述
SAM2结构
在这里插入图片描述

SAM 2 架构可以看作是 SAM 从图像域到视频域的泛化。SAM 2 可以通过单击(正或负)、边界框或蒙版来提示,以定义给定帧中对象的范围。轻量级掩码解码器采用当前帧的图像嵌入和编码提示以输出帧的分割掩码。在视频设置中,SAM 2 将此掩码预测传播到所有视频帧,以生成掩码。然后,可以在任何后续帧上迭代添加提示,以优化 masklet 预测。

为了准确预测所有视频帧的掩码,引入了一种由内存编码器、内存组和内存注意力模块组成的内存机制。当应用于图像时,内存组件是空的,模型的行为类似于 SAM。对于视频,内存组件可以存储有关该会话中对象和先前用户交互的信息,从而允许 SAM 2 在整个视频中生成 masklet 预测。如果在其他帧上提供了其他提示,SAM 2 可以根据对象的存储内存上下文有效地纠正其预测。

采用流式架构,这是SAM对视频域的自然泛化,一次处理一个视频帧,并在内存中存储有关分割对象的信息。

SAM 引入了在面对图像中要分割的对象的歧义时输出多个有效蒙版的功能。例如,当一个人点击自行车的轮胎时,模型可以将此点击解释为仅指轮胎或整个自行车,并输出多个预测。在视频中,这种模糊性可能会延伸到视频帧。例如,如果在一个帧中只有轮胎可见,则轮胎上的咔嗒声可能仅与轮胎有关,或者随着更多自行车在后续帧中变得可见,此咔嗒声可能适用于整个自行车。为了处理这种歧义,SAM 2 在视频的每个步骤都创建了多个蒙版。如果进一步的提示不能解决歧义,模型将选择置信度最高的掩码,以便在视频中进一步传播。

使用的数据集

模型训练使用的SA-V数据集,包含约51,000个真实世界视频和超过600,000个masklet注释。视频数量是现有最大视频分割数据集的4.5倍,注释数量是53倍。收集了以地理上多样化的真实场景为特色的视频。这是迄今为止最大的视频分割数据集。使用我们的数据训练的 SAM 2 在广泛的任务和视觉领域中提供了强大的性能。

局限性

在长时间遮挡后、拥挤的场景中或在扩展视频中,可能会丢失对物体的跟踪。有时会在拥挤的场景中混淆多个看起来相似的物体。对于复杂的快速移动物体,可能会遗漏精细的细节。

未来应用

  • 与生成视频模型结合使用,创建新的视频效果。
  • 加速视觉数据注释工具的使用,构建更好的计算机视觉系统。
  • 用于海洋科学中声纳图像的分割、救灾卫星图像分析、医疗领域的细胞图像分割等。
  • 可应用于多个学科领域,包括Instagram上的应用、科学、医学等。
  • 用作更大的AI系统的一部分,通过AR眼镜识别日常用品。可能用于辅助科学和医学研究,如在无人机镜头中跟踪濒临灭绝的动物。

本文是对SAM2的基本介绍,后续会出SAM2的使用教程,感谢点赞关注!

关于SAM2项目源码及模型都已打包好,供需要的小伙伴们学习,获取方式如下:
在这里插入图片描述

关注文末名片G-Z-H:【阿旭算法与机器学习】,发送【开源】即可获取下载方式

### 集成 SAM2 和 YOLOv8 实现目标检测图像分割 为了实现这一目的,可以采用一种两阶段的方法来结合这两个强大的工具。首先利用YOLOv8进行高效的目标检测,随后使用SAM2模型对这些检测到的对象执行精确的语义分割。 #### 使用YOLOv8 进行对象检测 YOLOv8因其快速推理速度而闻名,在此过程中负责识别并定位图片中的各个感兴趣区域(ROI)[^1]。对于输入图像,YOLOv8会输出一系列边界框及其对应的类别置信度得分。 ```python from ultralytics import YOLO model = YOLO('yolov8n.pt') # 加载预训练好的YOLOv8模型 results = model.predict(source='image.jpg', save=True, show_labels=False) ``` #### 利用SAM2 对检测结果做进一步处理 一旦获得了由YOLOv8产生的候选框之后,就可以把这些位置信息传递给SAM2来进行更细致入微的像素级分类工作[^3]。具体来说就是将每个预测出来的矩形范围裁剪出来作为新的子图送入到SAM2当中去分析其内部结构特征从而得到更加精准的结果——即所谓的“掩膜”。 ```python import torch from segment_anything import sam_model_registry, SamAutomaticMaskGenerator device = "cuda" if torch.cuda.is_available() else "cpu" sam_checkpoint = "./sam_vit_b_01ec64.pth" model_type = "vit_b" sam = sam_model_registry[model_type](checkpoint=sam_checkpoint).to(device=device) mask_generator = SamAutomaticMaskGenerator(sam) masks = mask_generator.generate(image=cropped_image_from_yolo_result) ``` 通过上述方式能够充分发挥两者各自的优势:一方面借助于YOLOv8出色的实时性能完成初步筛选;另一方面依靠SAM2卓越的空间分辨率获得高质量的分割输出。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿_旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值