CVPR 2023 | FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation

最新推荐文章于 2023-12-20 13:39:04 发布
最新推荐文章于 2023-12-20 13:39:04 发布
阅读量2.1k 收藏 10
点赞数 2
分类专栏： 深度学习 # 分割任务 文章标签： 深度学习 神经网络 统一模型 开放词汇 图像分割
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/p_lart/article/details/130158346
版权

CVPR 2023 | FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation

目标任务: Open-Vocabulary Image Segmentation

  • semantic segmentation
  • instance segmentation
  • panoptic segmentation

主要目的

Open Vocabulary 学习范式将分割系统推广到更通用的应用场景. 现有的定制化的设计范式导致各种分割任务之间的碎片化, 从而阻碍了分割模型的统一性.
所以本文基于one-shot训练的形式, 提出了一种统一参数和结构的通用模型用于处理 Open Vocabulary 分割任务.
并引入了prompt来统一不同的任务和类别概念, 以适应不同的任务和场景.

Open Vocabulary Segmentation 旨在分割训练过程中未曾见过的目标类别. 现有的方法主要可以分为两个方向:

  • 将视觉特征映射到语义空间.
  • 与预训练模型进行跨模态对齐, 这利用了 CLIP 这样的预训练跨模态模型的零样本能力. 本文与此类工作关系密集.

主要工作

方法概览

两阶段方法:

  • 提取通用的mask proposal
  • 利用 CLIP 对第一阶段生成的 masks 进行 zero-shot 分类.

训练阶段:

  1. 训练进行在seen类别和对应标签上。
  2. 先使用Mask Proposal Extractor编码图像得到Visual Concepts 的Fv（NxD）和类别无关的Mask集合M（NxHxW）。对Mask使用特定的任务标签使用Focal和Dice损失监督。
  3. 每次迭代从三个任务标签（语义分割、实例分割和全精分割）中随机选择一个任务标签监督以避免跨任务训练带来的梯度冲突。
  4. 关于任务和类别的引入，这里设计了Adaptive Prompt Learning将task和category嵌入joint text embeddings Ft（CxD，C是Category数量）。Fv和Ft的consine similarity matching map表示所有class-agnositc mask各自所属预测类别的概率。这里则使用类别标签监督。

这里的问题:

  • 图像的embedding是如何从完整的空间特征上获得的?
  • 使用类别标签监督这一策略, 目的和方式是如何?

测试阶段:

  1. 使用训练好的proposal extractor，使用文本引导可以获得一系列二值masks。
  2. 利用预训练的CLIP图像编码器获得mask-level的编码。
  3. 计算mask表征和文本embedding的相似性。
  4. 根据adaptive prompt learning，输出任务相关的分割结果。
  5. 测试中使用的category set包含了seen和unseen类。

Adaptive Prompt Learning

  • 设计目的: 编码任意task和category到文本表征中.
  • 主要内容: 基于Prompt学习策略. 这里没有使用固定地将所有类别和任务名称放入相同的模板中, 而是自适应地将任务和类别文本转换为一组可学习的向量, 这些向量被拼接为text embedding以促进模型训练.
  • adaptive task prompt Pt: 可以打包多个学习任务到同一个框架, 并缓解不同任务训练的冲突问题. 具体操作就是将三个任务名称添加到可学习向量集合中, 整体构成task prompt, 并使用CLIP文本编码器编码Et.
  • adaptive category prompt Pc: 可以帮助模型兼容更多的类别, 扩展到unseen类别, 提升open-domain性能. 同样的, 训练中, 使用的可见类别和可学习向量组合得到adaptive category prompt, 通过CLIP编码Ec. 拼接Et和Ec获得联合的task-category的embedding Ft. 由于实际输入category可以使任意的, 所以Ft可以迁移到open vocabulary的unseen category.

Semantic Context Interaction Module

在Mask Proposal Extractor中获得的一般性的视觉表征忽略了类别和任务信息, 而这些信息可以为综合推理提供更可靠的线索.

为此作者们在text embedding Ft和extractor中的多尺度visual feature Fv(z)(z: layer index)之间放置了semantic context interaction module, 使用Ft来更新Fv, 从而强调关于给定文本类别的视觉特征.

这一module基于cross attention和一些线性层.

Test Time Prompt Tuning

这是一种test time adaptation的算法[Fully test-time adaptation by entropy minimization], 用于**refine the adaptive class prompt** during testing, 从而提升对于unseen category的跨模态对齐.

  • 使用CLIP图像编码器对使用预测的Mask图mask操作后的图像编码.
  • 计算与Nu个unseen classes的cosine similarity score.
  • 计算每个样本对应的熵值:

  • 选择熵小于阈值τ的queries, 可得到K个对应的样本编码.
  • 对筛选得到的得分图计算熵损失, 用于优化adaptive class prompt的参数.

实验性能

实验中引入了一个特殊的变体, 即"CLIP", 直接使用预训练的CLIP的文本和视觉编码器匹配结果.

消融分析

单一数据集

跨数据集

可视化

有为少年
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CVPR-2020-2021-Image-Segmentation-and-detection-challenge
03-30
CVPR-2020-2021 卫星地球图像分段与检测挑战。 让我们分割卫星地球图像。 这是由CVPR 2020和2021发布的公开比赛]农业视觉数据集，获奖挑战赛和研讨会： 与许多伟大的合作者共同努力，将农业和计算机视觉/人工智能社区联合起来，造福人类！ 资源 ： 和 。 我已经在这个问题上工作了几个月，并尝试了各种方法来解决此问题。 问题的描述如下：此挑战中使用的数据集是“农业视觉”数据集的子集。 挑战数据集包含整个2019年全美范围内捕获的21,061张空中农田图像。 每个图像都包含四个512x512彩色通道，分别是RGB和近红外（NIR）。 每个图像还具有边界图和蒙版。 边界图指示农田的区域，而遮罩指示图像中的有效像素。 边界图或蒙版之外的区域均不评估。 该数据集包含六种类型的注释：云影，双株，播种机跳过，死水，水路和杂草丛集。 这些类型的田间异常对农田的潜在产量有很
CVPR 2023|FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation
最新发布
asuiyu的博客
01-23 890
最近出现了开放词汇学习来完成任意类别的基于文本的描述的分割，这将分割系统推广到更通用的应用场景。然而，现有的方法致力于为特定的分割任务设计专门的架构或参数。这些定制的设计范式导致各种分割任务之间的碎片化，从而阻碍了分割模型的统一性。因此，在本文中，我们提出了FreeSeg，这是一个通用框架来完成统一、通用和开放词汇的图像分割。FreeSeg通过一次性训练优化了一个一体化网络，并采用相同的架构和参数在推理过程中无缝处理不同的分割任务。
You Only Look Once: Unified, Real-Time Object Detection
04-24
yolo的ppt详细讲解
Awesome-Referring-Image-Segmentation:关于参考图像分割的论文集
05-16
令人敬畏的图像分割 参考图像分割论文和数据集的集合。 随意创建PR或问题。 大纲 1.数据集 简称 纸 来源 代码/项目链接 推荐 2014年EMNLP Google参考 CVPR 2016 UNC ECCV 2016 UNC + ECCV 2016 [数据集] CLEVR参考+ CLEVR-Ref +：使用引用表达式诊断视觉推理 CVPR 2019 [项目] VGPhraseCut PhraseCut：野外基于语言的图像分割 CVPR 2020 [项目] 2.传统的参考图像分割 简称 纸 来源 代码/项目链接 LTS 找到然后分割：用于参考图像分割的强大管道 CVPR 2021 CGAN 级联分组注意网络，用于引用表达分段 ACM MM 2020年 最小二乘 用于参考图像分割的语言结构指导的上下文建模 ECCV 2020 CMPC-Refseg 通过
content-preserving-tone-adjustment-for-image-enhancement:图像增强比赛-NTIRE19-CVPR19
03-17
NTIRE 2019-图像增强挑战 推理 1-更改必须在文件中增强的目录：“ enh_pwise_single_filt_7_wd_0.0 ”，位于键“数据集→参数→ regen → input_dir ” 2-使用以下命令运行代码： python Trainer.py --json ./json/enh_pwise_single_filt_7_wd_0.0.json --regen 3-增强的图像将位于文件夹中：“ ./checkpoints/enh_pwise_single_filt_7_wd_0.0/regen ” 输入 输出
字节跳动CVPR 2023论文精选来啦（内含一批图像生成新研究）
字节跳动技术范儿
04-04 4602
计算机视觉领域三大顶会之一的 CVPR 今年已经开奖啦。今年的 CVPR 将于六月在加拿大温哥华举办，和往年一样，字节跳动技术团队的同学们收获了不少中选论文，覆盖文本生成图像、语义分割、目标检测、自监督学习等多个领域，其中不少成果在所属领域达到了 SOTA（当前最高水平）。一起来看看这些成果吧~
FreeSeg
whaosoft143ai的博客
05-11 424
实现统一、通用和开放词汇图像分割的新框架FreeSeg，够灵活地完成任意类别的不同分割任务，处理一个模型中的所有任务和类别。原文链接：https://arxiv.org/abs/2303.17225代码链接：https://freeseg.github.io/图像分割一直是计算机视觉中研究最广泛的课题之一，旨在同时对图像中的对象像素进行分组和分类。在最近的论文中，利用大规模的数据，图像分割取得了重大的进展。其中对object用像素级mask和label进行了详尽的注释。whaosoft aiot http:
【计算机视觉】CVPR 2023 上的分割论文真的是神仙打架（介绍前12篇，图像分割，全景分割，语义分割，实例分割）
热门推荐
wzk4869的博客
06-21 1万+
【计算机视觉】CVPR 2023 上的分割论文真的是神仙打架（介绍前12篇，图像分割，全景分割，语义分割，实例分割）
CVPR 2023上的分割论文杀疯了！
小白学视觉
06-14 1922
01图像分割类[1]AutoFocusFormer: Image Segmentation off the Grid推荐理由：该论文提出了 AutoFocusFormer (AFF)，一种局部注意力变换器图像识别主干，它通过学习保留任务最重要的像素来执行自适应下采样。放弃了经典的网格结构，该论文开发了一种新的基于点的局部注意力块，由平衡聚类模块和可学习的邻域合并模块提供便利，可以为最先进的分割头的...
原文Boundary IoU: Improving Object-Centric Image Segmentation
11-18
【原文】Boundary IoU: Improving Object-Centric Image Segmentation Evaluation。这是CVPR2021的一篇文章，We present Boundary IoU (Intersection-over-Union), a new segmentation evaluation measure focused on boundary quality. We perform an extensive analysis across different error types and object sizes and show that Boundary IoU is significantly more sensitive than the standard Mask IoU measure to boundary errors for large objects and does not over-penalize errors on smaller objects.
fbrs_interactive_segmentation:[CVPR2020] f-BRS
05-10
f-BRS：重新思考交互式细分的反向传播优化 该存储库提供了代码，用于通过以下论文的官方PyTorch实施来培训和测试用于交互式细分的最新模型： f-BRS：重新考虑反向传播的细化以进行交互式细分（ ，（ ，（ ，莫斯科三星AI中心 请观看下面，解释我们的算法如何工作： 我们也有完整的MXNet实现算法，可以检查mxnet分支。 消息 [2021-02-16]我们提出了一个关于交互式分割的新论文（+代码）：使用掩码指导进行交互式分割的复兴迭代训练。 一种具有新SoTA结果且无需任何测试时间优化技术的简单方法。 搭建环境 该框架是使用Python 3.6构建的，并且依赖于PyTorch 1.4.0+。 以下命令将安装所有必需的软件包： pip3 install -r requirements.txt 您还可以使用我们的Dockerfile来构建具有配置环境的容器。
CVPR2020论文列表（中英对照）
dovings的博客
07-04 7961
CVPR论文列表，中英对照
Test-time Adaptation论文合集
如果想成为中心，那么就到中心去吧。
03-18 5170
文章目录2022On-the-Fly Test-time Adaptation for Medical Image Segmentation 2022 On-the-Fly Test-time Adaptation for Medical Image Segmentation code: https://github.com/jeya-maria-jose/on-the-fly-adaptation 摘要： 基于深度学习的医学成像解决方案的一个主要问题是，当一个模型在不同于其训练的数据分布上进行测试时，性能
Open-Vocabulary Semantic Segmentation via Attribute Decomposition-Aggregation学习笔记
Bai__Yang_的博客
12-20 1083
开放词汇语义分割，需要在推理时分割出新的类别。最近研究探索了视觉语言预训练来处理，但在实际场景中受到低质量的文本类别名称的影响。 例如，当遇到简短或不完整的名称产生歧义、未出现在预训练的词典中的新词以及用户难以描述的类别时，通常会出现例外情况。 为了解决这些问题，这项工作提出了一个新的分解聚合框架，灵感来自于人类理解新概念的认知。 具体来说，在分解阶段，将类名解耦为不同的属性描述，以丰富语义上下文。在聚合阶段，将不同的属性组合成一个完整的全局描述，形成一个区分目标对象和其他对象的判别分类器。
Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models
孤独的猫
03-09 1583
联合CLIP和Diffusion的开集语义分割https://img-blog.csdnimg.cn/77b4e88f96c742109e5796053affffb1.png框架
重磅！字节跳动20篇论文入选CVPR 2023
阿木寺的博客
04-06 1325
计算机视觉领域三大顶会之一的 CVPR 今年已经开奖啦。今年的 CVPR 将于六月在加拿大温哥华举办，和往年一样，字节跳动技术团队的同学们收获了不少中选论文，覆盖文本生成图像、语义分割、目标检测、自监督学习等多个领域，其中不少成果在所属领域达到了 SOTA（当前最高水平）。一起来看看这些成果吧~一个简洁的文本监督语义分割框架A Simple Framework for Text-Supervise...
PyTorch使用LMDB数据库加速文件读取
画心
11-22 1万+
PyTorch使用LMDB数据库加速文件读取 文章目录PyTorch使用LMDB数据库加速文件读取背景介绍具体操作LMDB主要类`lmdb.Environment``lmdb.Transaction``Imdb.Cursor`操作流程创建图像数据集配合DataLoader参考链接 原始文档：https://www.yuque.com/lart/ugkv9f/hbnym1 对于数据库的了解较少，文...
you only look once: unified, real-time object detecti
11-24
"YOLO：统一、实时的目标检测"简称YOLO，是一种深度学习算法，用于实时目标检测。它的核心思想是将目标检测问题转化为单个统一的回归问题，使得只需一次前向传播即可直接预测出目标的位置和类别。 相比于传统的目标检测方法，YOLO具有显著的优势。首先，YOLO采用了统一的网络结构，端到端地完成整个目标检测过程。这意味着不需要将图像分割成多个部分进行处理，减少了冗余计算，提高了计算效率。 其次，YOLO实时性能出色。它将目标检测任务与边界框回归深度学习模型相结合，使得可以在一次前向传播中同时预测出多个目标的位置和类别。因此，YOLO在速度上远远超过了传统的基于滑窗的目标检测方法。 此外，YOLO还采用了多尺度的特征图来检测不同大小的目标。通过在不同层级的特征图上进行预测，YOLO可以有效地捕捉目标的多尺度信息，并提高了目标检测的准确性。 然而，YOLO也存在一些局限性。由于采用了统一的网络结构，YOLO对小尺寸的目标检测相对较差。此外，当目标之间存在重叠或者遮挡时，YOLO可能会出现漏检或者虚警的情况。 总而言之，YOLO是一种统一、实时的目标检测算法，具有高效、准确的特点。它在图像处理、智能安防、自动驾驶等领域具有广泛的应用前景。然而，为了提升其性能，在处理小尺寸目标和目标重叠等复杂场景时，仍需要不断的研究和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值