YOLOv8_seg预测流程-原理解析[实例分割理论篇]

已于 2024-05-29 22:41:03 修改
阅读量1.3k 收藏 2
点赞数
分类专栏： YOLOv8深度剖析 文章标签： YOLOv8 实例分割 预测流程原理分析 Process_mask prototype ceofficients 热力图
于 2024-05-12 15:46:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45144684/article/details/138756878
版权
YOLOv8深度剖析 专栏收录该内容
24 篇文章 29 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细解析YOLOv8实例分割网络的预测流程，包括预处理、推理和后处理模块。预处理涉及图像尺寸调整和归一化；推理阶段Box和Cls解码与目标检测相似，而Mask和Proto分支不做解码；后处理中，NMS筛选预测框，Proto与Mask系数矩阵相乘得到实例分割结果。
摘要由CSDN通过智能技术生成

        YOLOv8_seg的网络结构图在博客YOLOv8网络结构介绍_CSDN博客已经更新了，由网络结构图可以看到相对于目标检测网络，实例分割网络只是在Head层不相同，如下图所示，在每个特征层中增加了Mask ceofficient层（浅紫色），这和同一层的Box，cls的shape大小一样；另外还利用80×80尺度的特征图，经过卷积+上采样后得到通道数为32，分辨率为160×160的Prototype Mask层(即Proto层）。

         下面正式介绍下YOLOv8的预测流程，先来大概看一下预测流程有哪些，主要分预处理模块、推理模块和后处理模块。这里面有很多内容是和目标检测预测流程是重合的，主要区别在于mask_ceof分支、Proto分支以及Process_mask后处理上，本文也主要介绍一下Process_mask模块&

了解本专栏 订阅专栏 解锁全文
吃鱼不卡次
关注
专栏目录
订阅专栏
YOLOv8-Seg改进：多创新点魔改设计 | 双层路由注意（BRA）+广义特征金字塔网络（GFPN）+多头检测器，全面提升检测精度
会AI的学姐
03-25 581
CVPR2023双层路由注意（BRA）；2）广义特征金字塔网络（GFPN）3）多头检测头整合到YOLOV8中；
YOLOv8_det/seg/pose/obb网络结构
ice
05-05 6961
主要介绍了YOLOv8目标检测、实例分割、关键点检测及旋转目标检测的网络结构。
YOLOv8 segment介绍
网络资源是无限的
06-01 3001
YOLOv8 segment介绍
Yolov8目标识别与实例分割——算法原理详细解析
知来者逆的博客
11-02 1万+
对比YOLOv8与之前版本的区别，并详细解析整个算法的原理与设计理念。
【yolov8seg】
一休
08-19 241
图示yolov8
YOLO V8-Detection 【单张图片推理】 推理详解及部署实现
牧子川的博客
04-05 4972
该代码对YOLO V8 中 Detection 中推理代码进行拆解，对里面单独的模块给单独提取出来，方便进行后续的修改，并且该代码是一个每次对一张图片进行推理。
[转]YOLOv8-Seg推理详解及部署实现
chinagudujian的专栏
01-04 2715
梳理下 YOLOv8-Seg 的预处理和后处理流程，顺便让 tensorRT_Pro 支持 YOLOv8-Seg博主在这里针对 YOLOv8-Seg 的预处理和后处理做了简单分析，同时与大家分享了 C++ 上的实现流程，目的是帮大家理清思路，更好的完成后续的部署工作😄。最后大家如果觉得。
【YOLOv8-seg】实战一：手把手教你使用YOLOv8实现实例分割
virobotics的博客
07-02 2万+
Hello，大家好，这里是virobotics。之前有介绍YOLOv8在LabVIEW中实现目标检测，今天我们一起来看一下LabVIEW使用onnx工具包调用YOLOv8-Seg实现实例分割。
YOLOv8-Seg推理详解及部署实现
周同学的博客
11-07 1万+
YOLOv8-Seg推理详解及部署实现
yolov8seg 瑞芯微RKNN芯片、地平线Horizon芯片、TensorRT部署
zhangqian_1的博客
07-06 3911
由于之前写了几篇yolov8检测部署板端芯片相关的博文，有网友让写一篇yolov8seg部署博客，一直迟迟未行动，最近忙中借闲匆匆对yolov8seg进行了梳理，完成了这篇yolov8seg部署验证和测试。yolov8seg 还需处理mask系数，同时分割结果还需乘以系数，使得对板端部署不是很友好。模型、测试图像、测试结果、完整代码，放在github上，参考链接。
Yolov8原理详细解析！一文看懂
热门推荐
穿着帆布鞋也能走猫步
08-30 5万+
Yolov8原理详细解析
YOLOv8_seg训练流程-原理解析[实例分割理论篇]
ice
05-13 919
分享了YOLOv8_seg训练流程原理，介绍了v8如何把点转换成Mask图，并且分别介绍了Overlap_mask=True和False的情况。
YOLOv8_pose预测流程-原理解析[关键点检测理论篇]
ice
05-20 1446
本文主要介绍了关键点预测流程的原理，主要介绍了KeyPoint分支的解码、NMS后处理以及关键点绘制这一部分内容。
YOLOv8深度剖析专栏导航
ice
05-05 693
关于YOLOv8深度剖析专栏的介绍及目录导航及更新通知。
【实例分割项目】之yolov8-seg（一）用半自动标注工具生成自己的数据集并训练和使用
ailaier的专栏
01-17 5029
用半自动工具制作yolov8实例分割数据集，并训练和验证。
【yolov8系列】将yolov8-seg 模型部署到瑞芯微RK3566上
magic_ll的博客
07-27 5286
前言之前记录过，整体比较流畅，记录了onnx转rknn的相关环境配置，使用的rk版本为rknn-toolkit2-v1.4.0。当前库已经更新为1.5，这里还是沿用1.4的版本进行记录。本篇博客是在上篇博客（yolov5的rk3566的部署）的基础上，记录下yolov8n-seg的模型在3566上的部署过程。若精度异常可查看官方提供文档，写的比较详细。这里说明下自己遇到的问题：yolov8模型模型进行全量化结果异常yolov8模型在PC端模拟器的运行结果时，板端运行结果异常。
【YOLOv8-Seg】实战三：LabVIEW+TensoRT实现YOLOv8-seg的极速推理（毫秒级）
virobotics的博客
07-16 5355
Hello，大家好，这里是virobotics。今天我们一起来看一下LabVIEW使用TensoRT工具包实现YOLOv8-Seg的极速推理。
YOLOv8-Segment C++
weixin_51995147的博客
02-01 1279
YOLOv8_seg::postprocess()函数得到了objs, 其中包含了检测目标box的尺寸及位置，还包含了目标轮廓数据，在box中是目标的像素块的像素值为255，其余区域均为0。
YOLOv8-seg：轻松实现高效实例分割的开源利器
最新发布
gitblog_09723的博客
09-06 791
YOLOv8-seg：轻松实现高效实例分割的开源利器 ultralytics-seg.zip项目地址:https://gitcode.com/open-source-toolkit/a8a1a 项目介绍 在深度学习计算机视觉领域，目标检测和实例分割是两个至关重要的任务。为了帮助开发者和研究人员快速部署和测试这些任务的解决方案，我们推出了 YOLOv8-seg 实例分割模型源码及数据集项目。该项目...
yolov8-seg实例分割提取分割掩膜
05-19
Yolov8-seg是一种基于目标检测和语义分割的实例分割方法。在Yolov8-seg中，首先使用YoloV5目标检测器检测图像中的物体，然后将检测到的物体传递给语义分割模型，以生成每个物体的分割掩膜。 如果您想提取分割掩膜，您可以按照以下步骤进行操作： 1. 使用Yolov8-seg模型检测图像中的物体。 2. 将检测到的物体传递给语义分割模型，以生成每个物体的分割掩膜。 3. 对于每个检测到的物体，提取其对应的分割掩膜。 4. 将分割掩膜应用于原始图像，以提取物体的图像部分。 您可以使用Python和深度学习框架（如PyTorch或TensorFlow）来实现这些步骤。以下是一个示例代码片段，用于提取Yolov8-seg模型生成的分割掩膜并将其应用于原始图像： ```python import cv2 import torch # Load Yolov8-seg and semantic segmentation models yolo_model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) seg_model = torch.hub.load('pytorch/vision', 'deeplabv3_resnet101', pretrained=True) # Load image img = cv2.imread('image.jpg') # Detect objects using Yolov8-seg model results = yolo_model(img) # Extract segmentation masks for each detected object masks = [] for result in results.xyxy: box = result[:4].tolist() mask = seg_model(img, box=box)['out'] mask = torch.argmax(mask.squeeze(), dim=0).cpu().numpy() masks.append(mask) # Apply segmentation masks to original image to extract object parts object_parts = [] for mask in masks: object_part = cv2.bitwise_and(img, img, mask=mask) object_parts.append(object_part) # Display extracted object parts for object_part in object_parts: cv2.imshow('Object part', object_part) cv2.waitKey(0) ``` 请注意，此代码片段仅用于示例目的，您需要根据自己的需求进行修改和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吃鱼不卡次

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值