论文阅读-GroupViT：Semantic Segmentation Emerges from Text Supervision（语义分割CVPR2022）

已于 2023-03-08 16:29:59 修改
阅读量2.3k 收藏 12
点赞数 2
分类专栏： 读论文 文章标签： 深度学习 人工智能 神经网络
于 2022-10-31 19:11:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/127621398
版权
GroupViT通过文本自监督对比学习进行语义分割训练，实现了zero-shot推理。利用grouptokens进行图像块的聚类分配，降低序列长度。在文本和图像特征相似度计算基础上，进行类别预测。尽管存在语义类别预测错误问题，但在零样本语义分割中表现出显著优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper：GroupViT: Semantic Segmentation Emerges from Text Supervision

Code：https://github.com/NVlabs/GroupViT

Project Page：https://jerryxu.net/GroupViT/

简介：

  • LSeg 虽然能够实现 zero-shot 的语义分割，但是训练方式并不是对比学习，没有将文本作为监督信号，因此还是需要有监督的分割图标注进行训练。而且由于语义分割的标注非常麻烦，因此分割领域的数据集都不大，LSeg 用的 7 个数据集加起来可能也就一二十万个样本。

  • 如何像 CLIP 一样，利用到文本来进行自监督训练呢？GroupViT 就是语义分割领域像 CLIP 一样使用文本来自监督训练的代表工作之一。GroupViT 通过文本自监督的对比学习来进行语义分割的训练，在推理阶段，可以实现 zero-shot 的推理。

  • GroupViT 的核心思想是利用了深度学习之前无监督分割的 grouping 思想。当时的做法大概是在确定某个中心点之后，不断向外发散，将接近的点都分到一个 group 中，最终发散完毕，得到分割结果。在 GroupViT 中的 grouping 是将 ViT 中的图像块 token进行分

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CVPR2022-CVPR-GroupVit：由文本监督的语义分割生成的
计算机视觉
10-16 770
groupvit
GroupViT 学习笔记
jacke121的专栏
04-13 4959
GroupViT 架构 GroupViT 包含按阶段分组的 Transformer 层的分层结构，每个阶段会处理逐渐放大的视觉片段。右侧的图像显示了在不同分组阶段要处理的视觉片段。在初期阶段模型将像素分组为局部对象，例如大象的鼻子和腿。在更高的阶段进一步将它们合并成整体，例如整个大象和背景森林。 每个分组阶段都以一个分组块结束，该块会计算学习到的组标记和片段（图像）标记之间的相似度。相似度高的组会分配给同一组的段标记并合并在一起，并做进入下一个分组阶段的新段标记。 GitHub - NVlabs/Gr
Group ViT（Semantic Segmentation Emerges from Text Supervision）
weixin_45104951的博客
09-27 2603
让模型在最初的时候能将周围相邻相似的像素点group起来，变成Segmentation mask。Group ViT的贡献就是在也有的ViT模型中加入Grouping Block，同时加入了可学习的Group Tokens。
【开放词汇分割】GroupViT: Semantic Segmentation Emerges from Text Supervision
cjy_colorful0806的博客
06-25 1197
在视觉场景理解中，分组和识别是关键的任务，常见于目标检测和语义分割等应用。传统的深度学习方法通常依赖于像素级的标注，通过全卷积网络（Fully Convolutional Networks, FCNs）直接在输出层进行像素级的分类。然而，这些方法存在两个主要问题。
LSeg、GroupViT模型原理
m0_62790681的博客
02-11 291
CLIP在分割领域一些的迁移应用模型原理
论文阅读 | GroupViT: Semantic Segmentation Emerges from Text Supervision
bettii的博客
02-23 1138
CLIP工作拓展-利用文本-图像对的信息进行图像语义分割（CVPR2022）
图片速览 GroupViT: Semantic Segmentation Emerges from Text Supervision
ResumeProject的博客
09-25 702
根据ViT[24]的设计，我们首先将输入图像分割成N个不重叠的块，并将每个块线性投影到一个潜在空间。我们将每个投影面片视为一个输入图像标记，并将它们的集合表示为。根据ViT[24]的设计，我们首先将输入图像分割成N个不重叠的块，并将每个块线性投影到一个潜在空间。在每个分组阶段，除了图像标记外，我们连接一组可学习的组标记，并将它们输入到该阶段的Transformer中。在每个分组阶段，除了图像标记外，我们连接一组可学习的组标记，并为该阶段将它们输入Transformer。
论文阅读——GroupViT
weixin_43575791的博客
12-13 1488
图片分成不重叠的N个块，每个块经过线性映射变成 image token，除了 image tokens ，每个grouping stage同时concat一组可学习的group tokens,image token和group tokens都输入Transformer层。双编码器结构，GroupViT是图片编码器，Transformer是文本编码器，最终GroupViT输出的图片向量是所有输出的分割token的平均向量。Grouping Block的作用是把小块组合成大块，每个阶段都有该模块。
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4922
【CVPR2022】完整论文列表
CVPR2022 做语义分割不用任何像素标签，UCSD、英伟达在ViT中加入分组模块
我爱计算机视觉
03-16 1305
关注公众号，发现CV技术之美本文转自机器之心。生成效果的确很惊艳。视觉场景是由有语义意义的像素组构成。在深度学习的概念出现之前，业界就已经使用经典的视觉理解方法对像素分组和识别进行深入研究...
CVPR2022 - 泛化的小样本语义分割
点亮创新之光，照亮科研梦想
01-13 2409
语义分割模型的训练需要大量精细标注的数据，很难快速适应不满足这一条件的新类。小样本分割(FS-Seg)通过许多约束来解决这个问题。在本文中，我们引入了一种新的基准，称为泛化的小样本语义分割(GFSSeg)，以分析同时分割具有很少示例的新类别和具有足够示例的基本类别的泛化能力。这是首次研究表明，以往最先进的代表性FS-Seg方法在GFS-Seg中存在不足，其性能差异主要来自FS-Seg的约束设置。为了使GFS-Seg易于处理，
《GroupViT: Semantic Segmentation Emerges from Text Supervision》论文解读
qq_46981910的博客
07-13 1030
在深度网络中超越规则形状的图像网格，引入了一种新的GroupViT架构，以将视觉概念进行分层自底向上的分组为不规则形状的Group。 没有任何像素级标签和训练，只有使用对比损失的图像级文本监督，GroupViT成功地学会了将图像区域分组在一起，并以零样本的方式迁移到几个语义分割词汇表。 据我们所知，本文是在不使用任何像素标签的情况下，探索从文本监督单独到几个语义分割任务的零样本迁移的第一项工作，并为这项新任务建立了强大的基线。
#今日论文推荐# CVPR 2022丨学习用于小样本语义分割的非目标知识
w1hsxn的博客
07-08 810
团队从新视角解决了小样本语义分割的问题，并提出了全新的NTRE框架来关注BG和DO区域。
论文阅读总结——groupvit
m0_69018906的博客
10-08 183
CLIP作为分类领域的多模态开山之作，研究思想主要是引入了文本-图片对作为数据，使得模型在分类时有了对文字语义信息的理解，鉴于clip训练好的文本编码器和图片编码器都有非常好的zero-shot性能，由此引出了后续的很多工作，但就目前来看，工作重点都在模型的zero-shot能力，而不是下游任务中具体的指标比如精度等。
论文阅读：Improving Semantic Segmentation via Decoupled Body and Edge Supervision
jxloveysq的博客
09-26 992
版权声明：本文为CSDN博主「小苑同学」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/yuansiming0920/article/details/111303192 存在的问题：（1）随着神经网络的深度增加，FCN的感受野生长比较缓慢，受限的RF（感受野）不能建立图像上像素之间的longer-range关系。因此由于目标身体内部模棱两可和噪音的产生使得像素很难去分类。 目前的解决方法：扩大感受野，如增加ASPP
【论文阅读】多模态——GroupViT
最新发布
m0_58701995的博客
03-02 1133
8. 计算图像嵌入和文本嵌入的相似度（通过点乘），将匹配的图像-文本对作为。
GroupVit：semantic segmentation emerges from text gemeration
liguandong
09-17 297
grouping block其实就是用了类似于self-attention的方式先算了一个相似度矩阵，然后利用相似矩阵帮助原来的image token做一些聚类中心的分配，从而把输入从196x384降到64x384，聚类中心的分配是不可导的，因此用了sumbel softmax变成可导。groupvit的监督信号来自于文本，它不依赖于segmentation mask手工标注，而是可以像clip一样利用图像文本对进行无监督训练，从而让模型进行简单的分割任务。
神经网络学习小记录66——Keras版 Vision Transformer（VIT）模型的复现详解
热门推荐
Bubbliiiing的学习小课堂
01-03 1万+
神经网络学习小记录66——Vision Transformer（VIT）模型的复现详解学习前言什么是Vision Transformer（VIT）代码下载Vision Transforme的实现思路一、整体结构解析二、网络结构解析1、特征提取部分介绍a、Patch+Position Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV、TransformerBlock的构建
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值