【深度学习】You Only Segment Once: Towards Real-Time Panoptic Segmentation，YOSO全景分割

最新推荐文章于 2024-08-21 08:55:22 发布
最新推荐文章于 2024-08-21 08:55:22 发布
阅读量1.8k 收藏 7
点赞数 2
分类专栏： 深度学习机器学习 文章标签： 深度学习 人工智能 YOLO 全景分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1131230123/article/details/132746278
版权

论文：https://arxiv.org/abs/2303.14651
代码：https://github.com/hujiecpp/YOSO

文章目录

Abstract

在这篇论文中，我们提出了YOSO，一个实时的全景分割框架。YOSO通过全景核与图像特征图之间的动态卷积来预测掩码，您只需要一次分割就可以同时完成实例分割和语义分割任务。为了降低计算开销，我们设计了一个特征金字塔聚合器来提取特征图，以及一个用于全景核生成的可分离动态解码器。

聚合器以卷积为主的方式重新参数化了插值优先模块，这显著加速了管道的速度，而没有额外的成本。解码器通过可分离动态卷积执行多头交叉注意力，以提高效率和准确性。据我们所知，YOSO是第一个实时全景分割框架，与最先进的模型相比，它能够提供竞争性的性能。具体来说，YOSO在COCO上实现了46.4的PQ，45.6的FPS；在Cityscapes上实现了52.5的PQ，22.6的FPS；在ADE20K上实现了38.0的PQ，35.4的FPS；在Mapillary Vistas上实现了34.1的PQ，7.

了解本专栏 订阅专栏 解锁全文
YOLOV8基于SAM的作物和杂草竞争分层全景分割解决方案
sybh的博客
10-14 999
2.1. 分割虽然在包含11亿个掩码的数据集上训练的分割任何模型(SAM)[7]，通常按形式很好，但在处理表现出复杂结构的对象或在区分前景对象和复杂的后地面区域之间喷流时，它经常遇到挑战。使用微调的HQ-SAM的方法，以及从微调的YOLO-v8和DINO生成的边界框，也比基线HQ-SAM表现得更好。对于(5)和(6)，我们利用基于LORA的机制对图像和掩模进行编码器和解码器，探索SAM编码器中叶片和植物的不同权重来加强初始特征图，并在三个不同的焦点水平的四个不同尺度上应用DINO FocalNet。
线段检测：Towards Light-weight and Real-time Line Segment Detection Towards Light-weight and Real【方法解读】
sinat_39783664的博客
07-21 1万+
“线段检测M-LSD-tiny”方法解读
全景分割论文阅读：Real-Time Panoptic Segmentation from Dense Detections(CVPR2020)
weixin_43572595的博客
01-20 994
标题：基于密集检测的实时全景分割 作者：Arjun Bhargava Allan Raventos Vitor Guizilini Chao Fang Jerome Lynch Adrien Gaidon 机构：Toyota Research Institute； University of Michigan, Ann Arbor 论文地址：https://arxiv.org/abs/1912.01202 项目地址：https://github.com/TRI-ML/realtime_panoptic 摘要
实时全局分割YOSO
weixin_45761399的博客
06-26 1525
在这篇论文中，提出了YOSO，一个实时的全景分割框架。YOSO通过全景内核与图像特征图之间的动态卷积来预测掩码，只需要一次分割就可以同时完成实例分割和语义分割任务。为了降低计算开销，设计了一个特征金字塔聚合器来提取特征图，以及一个用于全景核生成的可分离动态解码器。聚合器以卷积为主的方式重新参数化了插值优先模块，这显著加速了管道的速度，而没有额外的成本。解码器通过可分离动态卷积执行多头交叉注意力，以提高效率和准确性。YOSO是第一个实时全景分割框架，与最先进的模型相比，它能够提供竞争性的性能。
实例分割笔记(一): 使用YOLOv5-Seg对图像进行分割检测完整版（从自定义数据集到测试验证的完整流程））
源的博客
09-06 1万+
图像分割是指将一幅图像划分为若干个互不重叠的区域，每个区域内的像素具有相似的特征或属性。图像分割是图像处理和计算机视觉领域的一个重要任务，它在很多应用中起到关键作用，如目标检测、目标跟踪、图像编辑、医学图像分析等。图像分割的目标是将图像中的目标从背景中分离出来，使得目标区域内的像素具有一致的特征，同时与背景区域有明显的差异。常见的图像分割方法包括基于阈值的方法、边缘检测方法、区域生长方法、基于图割的方法等。
【camera】YOLOV7实现实例分割+目标检测任务（训练、测试、量化、部署）
03-27
【camera】YOLOV7实现实例分割+目标检测任务（训练、测试、量化、部署）
深度学习论文: Real-time Semantic Segmentation via Spatial-detail Guided Context Propagation
mingo_敏
04-13 3489
深度学习论文: Real-time Semantic Segmentation via Spatial-detail Guided Context Propagation Real-time Semantic Segmentation via Spatial-detail Guided Context Propagation PDF: https://arxiv.org/pdf/2005.11034v4.pdf PyTorch代码: https://github.com/shanglianlm0525/Cv
目标检测经典论文——Faster R-CNN论文翻译：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Net
bigcindy的博客
07-29 5332
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Faster R-CNN：通过Region Proposal网络实现实时目标检测 Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun Abstract State-of-the-art object detection networks depend on r...
Rethinking BiSeNet For Real-time Semantic Segmentation
写个翻译的博客
05-19 1482
Rethinking BiSeNet For Real-time Semantic Segmentation 摘要 BiSeNet已经被证明是一种流行的实时分割的双流网络。然而，其增加额外路径来编码空间信息的原理是耗时的，并且从预训练的任务(例如图像分类)中借用的骨干网可能由于特定任务设计的不足而不能有效地用于图像分割。为此，提出Short-Term Dense Concatenatenetwork(STDC Network)。具体地说，我们逐步降低了特征图的维数，并将特征图的聚合用于图像表示，构成了STD
【计算机视觉】CVPR 2023 上的分割论文真的是神仙打架（介绍前12篇，图像分割，全景分割，语义分割，实例分割）
热门推荐
wzk4869的博客
06-21 2万+
【计算机视觉】CVPR 2023 上的分割论文真的是神仙打架（介绍前12篇，图像分割，全景分割，语义分割，实例分割）
全景分割（Panoptic Segmentation）（CVPR 2019）
77wpa的博客
09-02 1万+
全景分割（Panoptic Segmentation）
CVPR 2023上的分割论文杀疯了！
小白学视觉
06-14 2492
01图像分割类[1]AutoFocusFormer: Image Segmentation off the Grid推荐理由：该论文提出了 AutoFocusFormer (AFF)，一种局部注意力变换器图像识别主干，它通过学习保留任务最重要的像素来执行自适应下采样。放弃了经典的网格结构，该论文开发了一种新的基于点的局部注意力块，由平衡聚类模块和可学习的邻域合并模块提供便利，可以为最先进的分割头的...
推荐文章：实时全景分割的创新解决方案——YOSO
gitblog_00017的博客
05-30 654
推荐文章：实时全景分割的创新解决方案——YOSO 项目地址:https://gitcode.com/gh_mirrors/yo/YOSO 在计算机视觉领域，高效的图像和视频分析算法一直是研究热点。今天，我们向您推荐一款名为YOSO（You Only Segment Once）的开源项目，它在实时全景分割任务中实现了突破性进展。YOSO在CVPR 2023上发表，旨在提供一种更快、更准确的图像分割方...
YOSO:实时全景分割网络
weixin_40723264的博客
04-12 1755
对于C2到C5，首先采用1x1的卷积对多级特征图进行通道压缩，然后c3到c5分别进行DCN和upsample操作，从上到下的特征融合，分别得到P5、P4、P3、P2.shape : [b x d x h x w] -> reshape [b,d,hw] ， 表示 hw个像素点，每个像素点有d个通道数。为 Per-Attention中得到的映射矩阵 其shape为[b,n,d]，如上图，Q分别进行两个全连接得到两个结构Q' 和 Q''。首先通过Conv2d卷积对。
全景分割2017-2020整理
THE XING
01-04 1343
定义 语义分割的任务是预测每个像素点的语义类别(即预测stuff，东西)，而实例分割的任务是预测每个实例物体包含的像素区域(即预测thing，事物)，分别如上图b和c所示。然而从图片中可以看出，语义分割和实例分割都不足以完备的描述出一副图像中的视觉信息，2019年FAIR首次提出全景分割的概念，全景分割任务需要同时预测出每个像素点赋予类别Label和实例ID(即同时预测thing和stuff，如图d所示) 全景分割任务的重点在于为每个像素分配一个语义标签和实例 ID 对于一幅输入图像, 首先提取特征. 然
论文：Fast Panoptic Segmentation Network
杨杨子江的博客
10-23 765
论文链接：https://arxiv.org/pdf/1910.03892.pdf        &nbsp在论文中，研究者介绍了这种名为 FPSNet 的全景分割网络。它无需计算成本极高的实例掩码预测或融合启发算法，而是通过将全景任务转换为自定义的像素级密集分类任务来实现，该任务将类别标签或实例 ID 分配给每个像素...
YOSO 开源项目指南
最新发布
gitblog_00986的博客
08-21 508
YOSO 开源项目指南 YOSO项目地址:https://gitcode.com/gh_mirrors/yo/YOSO 项目介绍 YOSO 是一个由社区维护的开源项目，位于 https://github.com/hujiecpp/YOSO.git。该项目专注于提供一套简洁高效的解决方案，用于特定的软件开发需求或技术挑战。尽管具体功能和目标因项目而异，YOSO 往往强调可扩展性、性能以及开发者体验...
（2024，YOSO，自协同学习，扩散 GAN，单步生成）您只需采样一次：通过自协同扩散 GAN 驯服一步文本到图像合成
qq_44681809的博客
03-21 1120
扩散 GAN 的少量步生成不够高效，本文提出 YOSO，一个单步扩散 GAN 模型。受到协同学习的启发，它构建了一个自协同学习目标。它还使用预训练的T2I扩散模型进行自协同扩散 GAN 的初始化，从而避免昂贵的从头训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值