YOLOv8 Ultralytics：使用Ultralytics框架进行FastSAM图像分割

最新推荐文章于 2024-04-01 20:51:46 发布
最新推荐文章于 2024-04-01 20:51:46 发布
阅读量1.5k 收藏 25
点赞数 40
分类专栏： YOLO系列 文章标签： YOLO 人工智能 目标检测 pytorch 图像分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FriendshipTang/article/details/135586225
版权

YOLOv8 Ultralytics：使用Ultralytics框架进行FastSAM图像分割

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

前言

相关介绍

  • YOLOv8是YOLO系列实时目标检测器的最新版本，在准确性和速度方面提供了尖端的性能。基于以前的YOLO版本的进步，YOLOv8引入了新的功能和优化，使其成为各种应用中各种目标检测任务的理想选择。
  • YOLOv8官方文档：https://docs.ultralytics.com/
  • Segment Anything Model（SAM）是一种尖端的图像分割模型，可以进行快速分割，为图像分析任务提供无与伦比的多功能性。SAM 构成了 Segment Anything 计划的核心，这是一个开创性的项目，引入了用于图像分割的新颖模型、任务和数据集。
  • SAM 的先进设计使其能够在无需先验知识的情况下适应新的图像分布和任务，这一功能称为零样本传输。SAM 在庞大的SA-1B 数据集上进行训练，该数据集包含超过 10 亿个掩模，分布在 1100 万张精心策划的图像中，SAM 表现出了令人印象深刻的零样本性能，在许多情况下超越了之前完全监督的结果。
  • Segment Anything Model (SAM) 的主要特征
    • 即时分割任务： SAM 在设计时考虑了即时分割任务，允许它根据任何给定的提示生成有效的分割掩码，例如识别对象的空间或文本线索。
    • 高级架构： Segment Anything Model 采用强大的图像编码器、提示编码器和轻量级掩模解码器。这种独特的架构可以在分割任务中实现灵活的提示、实时掩模计算和歧义感知。
    • SA-1B 数据集： SA-1B 数据集由 Segment Anything 项目引入，在 1100 万张图像上包含超过 10 亿个掩模。作为迄今为止最大的分割数据集，它为 SAM 提供了多样化、大规模的训练数据源。
    • 零样本性能： SAM 在各种分段任务中显示出出色的零样本性能，使其成为适用于各种应用的即用型工具，并且对快速工程的需求极小。
  • 要深入了解 Segment Anything 模型和 SA-1B 数据集，请访问Segment Anything 网站并查看研究论文Segment Anything。
  • Fast Segment Anything Model (FastSAM) 是一种新颖的、基于 CNN 的实时解决方案，适用于 Segment Anything 任务。此任务旨在根据各种可能的用户交互提示来分割图像中的任何对象。FastSAM 显着降低了计算需求，同时保持了具有竞争力的性能，使其成为各种视觉任务的实用选择。
    在这里插入图片描述
  • FastSAM 旨在解决Segment Anything Model (SAM) 的局限性，SAM 是一种需要大量计算资源的重型 Transformer 模型。FastSAM 将分段任何任务解耦为两个连续阶段：全实例分段和提示引导选择。第一阶段使用YOLOv8-seg生成图像中所有实例的分割掩模。在第二阶段，它输出与提示相对应的感兴趣区域。
  • 主要特征
    • 实时解决方案：通过利用 CNN 的计算效率，FastSAM 为分段任务提供实时解决方案，使其对于需要快速结果的工业应用很有价值。
    • 效率和性能： FastSAM 在不影响性能质量的情况下显着减少了计算和资源需求。它实现了与 SAM 相当的性能，但大大减少了计算资源，从而实现了实时应用。
    • 提示引导的分割： FastSAM 可以在各种可能的用户交互提示的引导下分割图像中的任何对象，从而在不同场景下提供灵活性和适应性。
    • 基于 YOLOv8-seg： FastSAM 基于YOLOv8-seg，这是一个配备实例分割分支的对象检测器。这使得它能够有效地生成图像中所有实例的分割掩模。
    • 基准竞争结果：在 MS COCO 上的对象提议任务中， FastSAM在单个 NVIDIA RTX 3090 上以明显更快的速度获得了高分，展示了其效率和能力。
    • 实际应用：所提出的方法以非常高的速度（比当前方法快数十或数百倍）为大量视觉任务提供了一种新的实用解决方案。
    • 模型压缩可行性： FastSAM 展示了一种路径的可行性，该路径可以通过在结构之前引入人工先验来显着减少计算工作量，从而为一般视觉任务的大型模型架构开辟新的可能性。

前提条件

实验环境

matplotlib>=3.2.2
numpy>=1.18.5
opencv-python>=4.6.0
Pillow>=7.1.2
PyYAML>=5.3.1
requests>=2.23.0
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.64.0
tensorboard>=2.4.1
pandas>=1.1.4
seaborn>=0.11.0

安装环境

pip install ultralytics
# 或者
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple # 国内清华源，下载速度更快

在这里插入图片描述

在这里插入图片描述

项目地址

Linux

git clone https://github.com/ultralytics/ultralytics.git

Cloning into 'ultralytics'...
remote: Enumerating objects: 4583, done.
remote: Counting objects: 100% (4583/4583), done.
remote: Compressing objects: 100% (1270/1270), done.
remote: Total 4583 (delta 2981), reused 4576 (delta 2979), pack-reused 0
Receiving objects: 100% (4583/4583), 23.95 MiB | 1.55 MiB/s, done.
Resolving deltas: 100% (2981/2981), done.

Windows

请到https://github.com/ultralytics/ultralytics.git网站下载源代码zip压缩包。

使用Ultralytics框架进行FastSAM图像分割

在这里插入图片描述

yolo predict model=FastSAM-s.pt source=images/bird.jpeg

在这里插入图片描述

在这里插入图片描述

参考文献

[1] YOLOv8 源代码地址：https://github.com/ultralytics/ultralytics.git.
[2] YOLOv8 Docs：https://docs.ultralytics.com/
[3] https://docs.ultralytics.com/models/fast-sam/
[4] https://github.com/CASIA-IVA-Lab/FastSAM
[5] https://arxiv.org/abs/2306.12156
[6] Xu Zhao, Wenchao Ding, Yongqi An, Yinglong Du, Tao Yu, Min Li, Ming Tang, Jinqiao Wang. Fast Segment Anything. 2023

FriendshipT
关注
  • 40
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
YOLOv8 Ultralytics：使用Ultralytics框架进行SAM图像分割
01-14
《YOLOv8 Ultralytics：使用Ultralytics框架进行SAM图像分割》文章中所用的SAM图像分割模型。
【YOLOv8-seg】实战一：手把手教你使用YOLOv8实现实例分割
virobotics的博客
07-02 1万+
Hello，大家好，这里是virobotics。之前有介绍YOLOv8在LabVIEW中实现目标检测，今天我们一起来看一下LabVIEW使用onnx工具包调用YOLOv8-Seg实现实例分割。
OpenCV与AI深度学习 | 使用YOLOv8做目标检测、实例分割和图像分类(包含实例操作代码)
csdn_xmj的博客
02-28 1676
本文主要介绍YOLOv8及使用它做目标检测、实例分割和图像分类演示，仅供参考。
YOLOv8！数据集制作！使用数据集进行模型训练！（以数据集coco128为例）
最新发布
qq_26281057的博客
04-01 632
在datasets文件夹下创建DatasetProduction.py文件，用来将images中的图片和标签进行分割，DatasetProduction.py代码如下：（！在yolo系列的根目录下（ultralytics_main）创建datasets文件夹，在datasets文件夹中放入coco128数据集，coco128文件夹下创建image文件夹：存放数据集的全部图片和标签文件。（2）运行DatasetProduction.py，生成相应的train、test、val文件夹，并按设置的比例分割好。
Fast SAM与YOLOV8检测模型一起使用实现实例分割以及指定物体分割（有代码）
勿忘初心,方得始终
08-12 2945
Fast SAM与YOLOV8检测模型一起使用实现实例分割效果
快速目标分割：FastSAM
02-05
一个用于快速分割任何对象的项目。它提供了一种高效的算法和方法，能够在图像和视频中准确地进行目标分割，为计算机视觉和图像处理领域的研究人员和开发人员提供了有力的工具。
YOLOV8实例分割——详细记录环境配置、自定义数据处理到模型训练与部署
知来者逆的博客
09-04 1万+
yolov8实例分割，从数据处理到模型训练与模型部署保姆级教程
YOLOv8 Ultralytics：最先进的 YOLO 模型——简介+实战教程
热门推荐
小白不白
02-03 3万+
利用以前的 YOLO 版本，，同时为训练模型提供统一框架，以执行在撰写本文时，许多功能尚未添加到 Ultralytics YOLOv8 存储库中。这包括训练模型的完整导出功能集。此外，Ultralytics 将在 Arxiv 上发布一篇论文，将 YOLOv8 与其他最先进的视觉模型进行比较。
【CV】Yolov8：ultralytics目标检测、关键点检测、语义分割
发现问题，并解决问题，批判性思维
05-21 1万+
Yolov8提供了一个全新的 SOTA 模型，包括 P5 640 和 P6 1280 分辨率的目标检测网络和基于 YOLACT 的实例分割模型。和 YOLOv5 一样，基于缩放系数也提供了 N/S/M/L/X 尺度的不同大小模型，用于满足不同场景需求 骨干网络和 Neck 部分可能参考了 YOLOv7 ELAN 设计思想，将 YOLOv5 的 C3 结构换成了梯度流更丰富的 C2f 结构，并对不同尺度模型调整了不同的通道数，属于对模型结构精心微调 Head 部分相比 YOLOv5 改动较大，换成了目前主流的
YOLOv8 ultralytics使用笔记----labelme标记数据，训练模型、追踪目标。
qq_48050838的博客
12-12 5267
Ultralytics是一个Python库，它是为执行高级计算机视觉任务而创建的，如对象检测、实例分割、图像分类等。Ultralytics为YOLO模型发布了一个全新的存储库，它被构建为用于机器视觉统一框架。这里先利用，并激活。
YOLOv8 Ultralytics：使用Ultralytics框架进行MobileSAM图像分割
FriendshipTang的博客
01-14 1198
Python、PyTorch、YOLOv8、Ultralytics、MobileSAM、图像分割
YOLOv8 Ultralytics：使用Ultralytics框架进行姿势估计
01-08
《YOLOv8 Ultralytics：使用Ultralytics框架进行姿势估计》文章中所用的姿势估计模型。
YOLOv8 Ultralytics：使用Ultralytics框架进行定向边界框对象检测
01-11
《YOLOv8 Ultralytics：使用Ultralytics框架进行定向边界框对象检测》文章中所用的定向边界框对象检测模型。
FastSAM初体验，比SAM快50倍
qq_34717531的博客
08-10 635
由美国Meta公司提出的能够“分割一切”的视觉基础大模型SAM引起了较大影响，为探索通用视觉大模型提供了一个新的方向。2023年6月22日，中科院自动化所的研究团队针对“分割一切”任务，提出了FastSAM方法。中科院自动化所团队提出的FastSAM，对“分割一切”这一通用视觉任务的算法设计范式进行了重新思考，设计了“全实例分割+基于指令的掩码输出”两阶段算法。
YOLOv8 与 RKNN 的碰撞：全新 SOTA 视觉模型如何在边端大放异彩
智星崛起
08-30 598
最新 YOLO 系列模型怎样在机器人端发光发热？本文从模型部署的原理出发，逐步介绍了模型在机器人端的推理环境和部署流程，并分享了 YOLOv8 模型的转换实例。欢迎阅读交流~
中科院自动化所发布FastSAM | 精度相当，速度提升50倍！！！
3D视觉工坊
06-28 191
作者：派派星 | 来源：CVHubTitle: Fast Segment AnythingPDF: https://arxiv.org/pdf/2306.12156v1.pdfCode: https://github.com/casia-iva-lab/fastsam导读SAM已经成为许多高级任务（如图像分割、图像描述和图像编辑）的基础步骤。然而，其巨大的计算开销限制了其在工业场景中的广泛应用。...
Android ncnn-android-yolov8-seg源码解析 : 实现人像分割
朱豪凯的博客
10-07 1318
讲解Android ncnn-android-yolov8-seg源码，如何实现人像分割 ?
yolov8使用yolov8
07-29
YOLOv8是YOLO（You Only Look Once）目标检测算法的一个版本，它是由Alexey Bochkovskiy等人在YOLOv4的基础上进行改进和优化的。 YOLOv8在YOLOv4的基础上引入了一些新的特性和改进。首先，YOLOv8使用了更大的网络结构，以提高检测的精度和性能。它采用了更深的Darknet网络作为主干网络，可以提取更丰富的特征表示。 其次，YOLOv8引入了一种新的训练方法，称为"Bag of Freebies"。这种方法包括一些数据增强技术和训练技巧，如CutMix、Mosaic和CIoU损失函数等，可以提高模型的泛化能力和鲁棒性。 此外，YOLOv8还使用了一些轻量化的技术，如SPP（Spatial Pyramid Pooling）模块和PAN（Path Aggregation Network）模块，以提高模型的感受野和特征融合能力。 总的来说，YOLOv8是一种基于YOLOv4的改进算法，它在精度和性能上都有一定的提升，并且采用了一些新的训练方法和轻量化技术。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值