CVPR 2022 | Image Segmentation Using Text and Image Prompts

已于 2024-04-15 11:37:19 修改
阅读量2.4k 收藏 7
点赞数 2
文章标签： 人工智能 深度学习 计算机视觉 神经网络 统一模型
于 2023-04-21 23:15:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/P_LarT/article/details/130298712
版权

image.png

目标任务:refering/zero-shot/one-shot segmentation
目标数据集: PhraseCut

主要目的

image.png

本文基于CLIP强大的零样本的文本编码和图像编码能力, 设计了一个新的系统, 基于测试时任意的Prompt信息(任意的文本或者图像提示), 来生成图像分割, 整体的形式非常类似于Few-shot的Segmentation形式.

这种策略解决现有基于固定类别的分割学习范式的局限性, 即现有图像分割任务的使用固定的目标类别来训练模型, 对于之后扩展额外的类或者更加复杂的查询信息时, 不够灵活和方便, 需要重新训练模型来包含这些表达.

这样的设计可以方便地构建一个统一模型, 通过一次训练可以应对三类常见的分割任务, 即:

  1. referring expression segmentation：由文本提示指定目标分割。训练时会见到所有类别，也就是说并不需要考虑到泛化到未知类别的问题。
  2. zero-shot segmentation：测试中存在训练时未知类别，这些未知类别需要通过建立与已知类别之间的关系来实现分割。现有方法会借助于类别文本嵌入等手段实现信息的关联。
  3. one-shot segmentation：测试中，目标类别的分割需要提供与之关联的单个样本作为提示（support data）来指导分割，这通常可以使一个有着对应mask的图像。

image.png

注意, 这里提到的类别未知指的是模型不知道可能存在的类别, 但可以通过人为提供目标类别的信息来指导模型的分割.

主要内容

1681914516361.png

整个方法构建在CLIP之上, 使用CLIP(ViT-B/16)作为backbone, 扩展了一个小的基于Transformer的条件分割解码器来实现密集预测任务. 如图所示, 这里将CLIP的两个编码器参数冻结了, 只有绿色部分是可学习的.

模型使用CLIP的联合文本视觉嵌入空间来指导模型的学习, 确保了可以处理文本和图像形式的Prompt. 这里的想法是教解码器将CLIP内部的激活与输出的分割联系起来, 同时尽可能减少数据集偏置, 并保持CLIP的杰出和广泛的预测能力.

在通过PhraseCut数据集的扩展版本上的训练后, 整个模型可以获得一个二值分割图, 这会对应于输入端提供的query, 即任意文本或者提示图像的信息.

这里作者提到:这种混合输入的形式, 使得对于三类分割任务具有了动态适应的能力, 同时也使得模型可以适应那些可以通过特定的文本或者图像来表述的二值分割任务.
这里其实反映了很重要的一点, 文字描述本身具有一定的主观性和模糊性, 而用特定图像作为指导又必然会受限于图像的形式和目标的状态. 它们对于被用来指导模型进行确定性分割的需求而言, 并不能完全胜任.

Decoder

整体流程可见图2中的解释. 所有CLIP的参数都是冻结的. 模型整体仅需训练一个紧凑的界面奥奇, 所以CLIPSeg在特征嵌入维度为64的时候, 整体可学习的参数只有1M多.

  • query图像通过CLIP视觉编码器. 这里的图像通过合并分割mask和图像获得了engineered visual prompt来输入CLIP, 这一query的预处理过程在文中称为visual prompt engineering.
  • 中间的激活结果被读取并映射到解码器中的嵌入维度上. 提取的激活(包括CLS token)被加到解码器每个transformer block之前. 解码器transformer blocks的数量和CLIP中提取的激活数量一致. 实际模型中, 从CLIP的第3、7、9层中获得激活输出, 也因此解码器只有三层.
  • 解码器使用一个线性投影生成二值分割.
  • 为了解码特定的分割目标, 这里使用FiLM, 通过条件向量来调制解码器的输入.
    • FiLM来自于https://arxiv.org/pdf/1709.07871.pdf.
    • 条件向量可以从两种方式获得, 即使用CLIP文本编码器对文本Query的嵌入和使用CLIP视觉编码器对图像Query的嵌入.
    • 实际上, 由于CLIP构建了图像和文本之间的共享的嵌入空间, 作者们在这里使用了二者之间的随机线性插值作为条件向量, 并将这种方式作为了一种训练时的数据增强策略(image-text interpolation). 即使用图像嵌入 S i S_i Si​和文本嵌入 t i t_i ti​线性组合获得条件向量: x i = α S i + ( 1 − α ) t i , α ∈ [ 0 , 1 ] x_i = \alpha S_i + (1-\alpha)t_i, \alpha \in [0, 1] xi​=αSi​+(1−α)ti​,α∈[0,1].

在这里插入图片描述

PhraseCut+

PhraseCut原本只有340000个有着对应图像分割的短语, 并不包含任何的visual support. 作者们扩展了这个数据集:

  • 为了为prompt p添加visual support image, 随机从样本集合Sp中抽取了部分数据, 他们共享prompt p. 对于只有单一样本对应的prompt, 则模型仅依赖于text prompt.
  • 另外为数据集引入了负样本, 即样本中并没有prompt中匹配的目标. 具体就是将样本的对应的短语按照固定的概率qneg, 随机替换为不同的短语.

短语使用一组固定前缀随机增强(正如CLIP作者所建议的那样). 在图像上, 我们在考虑对象位置的情况下应用随机裁剪, 确保对象至少保持部分可见. 本文将此扩展数据集称为PhraseCut+(缩写为PC+).

与原始的 PhraseCut 数据集只使用文本来指定目标相反, PC+支持使用image-text interpolation的方式训练. 通过这种方式可以训练一个联合模型来处理文本和视觉输入.

这里倒是没有提到, 测试时同时输入文本和图像时, 如何插值处理?

Visual Prompt Engineering

基于Prompt的学习, 实际上本质目的在于将特定目标信息引入作为指导. 所以如何获取特定目标信息也是一个关键. 这里从特征层面和输入层面两个角度进行了讨论.

image.png

为了评估不同的masking策略, 这里在LVIS数据集上, 基于CLIP的对齐关系进行了一些评估.

使用CLIP来计算与图像中目标名称对应的文本嵌入ti. 然后将它们与原始图像视觉嵌入so, 以及使用修改后图像或注意力mask来突出目标物体后的视觉嵌入sh, 分别进行比较. 通过softmax归一化对齐向量(可以理解为成对相似度), 得到的分布如图3所示.

这里将不同masking策略的评估指标定义为 Δ P ( o b j e c t ) = s h t 0 − s o t 0 \Delta P(object) = s_h t_0 - s_o t_0 ΔP(object)=sh​t0​−so​t0​, 这里将目标类别的文本嵌入定义为 t 0 t_0 t0​. 所以这里表示了不同的图像嵌入与目标文本嵌入的相似性, 相对于原始图像对应的相似性的差异.

特征级别的特定目标信息提取: Masked Pooling

作者们首先讨论了传统基于卷积的方案中, 为了计算prototype vector常使用的Masked Pooling的技术, 这一技术作用于support图像特征上. 而本文中为了提取特定目标信息的prompt信息的过程与此概念颇为类似.

但由于整体结构基于Transformer, 语义信息不仅在特征图中分散存在, 在其内部参与了层次聚合过程的CLS token也有. 而绕过CLS token并直接从特征映射的mask pooling中派生条件向量也是不可能的, 因为它会破坏CLIP的文本嵌入和视觉嵌入之间的兼容性.

在Transformer中, 与masked pooling等效的直接方法是直接在tokens应用mask. 通常, visual transformer由一组固定的token组成, 这些令牌可以通过多头注意在每层进行交互. 其中有用于读出的CLS token和最初从图像patch中获得的与图像区域相关的token.

image.png

mask可以通过将一个(例如最后一层)或多个transformer层的限制为mask内的patch token仅和CLS令牌之间的交互. 表2左表中展示了实验结果. 可以看到这种masking策略效果一般, 相较于完全masking有小幅度提升.

输入级别的特定目标信息提取: Visual Prompt Engineering

替代在模型内部使用使用masking, 可以直接组合mask和image来获得一个新的图像, 从而可以被visual transformer处理. 相似于(analogous to)NLP中的prompt engineering, 这里将其称之为visual prompt engineering. 由于这种prompt设计, 在NLP中新颖且在上下文未知的情况下表现最佳, 这里通过设计了多种形式来评估不同的变体, 如表2中所示. 可以发现mask和image结合的形式非常重要. 这里确定了三种图像操作来改善文本prompt与图像之间的对齐: 降低背景亮度, 使用高斯滤波器模糊背景, 和对目标裁剪. 表二中可以看到, 三种操作的组合获得了最好的效果. 本文使用这种形式.

实验细节

实验中, 由于涉及到单通道预测图像的二值化的问题, 所以作者对于阈值的设定进行了一些特殊化的设定: 在二值分割中, IoU需要指定一个阈值. 虽然大多数情况下会使用自然的选择0.5, 但如果对象匹配查询的概率在训练和推理之间不同, 则最优值可能会严重偏离0.5(查询匹配场景中一个或多个对象的先验概率高度依赖于内容和数据集). 因此, 本文报告了使用阈值对每个任务和模型进行优化的one-shot分割的性能.

这里的实验中设计了两种baseline变体:

  • CLIP-Deconv使用CLIP和一个非常简单的解码器, 仅仅包含FiLM条件化结构、一个线性映射和一个转置卷积. 这有助于估计CLIP独自对于结果起到的作用.
  • ViTSeg使用与提出的CLIPSeg相同的结构, 但是这里的视觉编码器使用ImageNet预训练的参数来替换CLIP的初始化. 而文本编码器仍然使用CLIP初始化. 这有助于了解到特定的CLIP权重对性能的影响.

Refering Segmentation

image.png

对比中可以看到:

  • 不同模型在不同数据集上的最优阈值不同.
  • ViTSeg的性能反映了同时使用CLIP两个编码器更重要.
  • 在Refering分割上, 使用扩充数据集效果并不好. 仅基于文本训练的形式反而效果要更好.

Zero-shot Segmentation

image.png

这里是直接评估, 训练是在排除了Pascal中的unseen类别的PhraseCat+上开展的. 这是通过将 Pascal 类分配给 WordNet 同义词集并通过遍历下位词(例如, 不同的狗品种表示狗)来生成一组无效词来实现的. 包含这样一个词的提示将从数据集中删除.

作者在这里提到, 试验所关注的数据集Pascal-VOC的设定是多标签的. 提出的模型由于本身是二值预测的形式, 所以对于这种多标签的需求, 直接为20个Pascal类别分别预测一个独立的二值图. 从所有的20个预测中, 为每个像素预测概率最大的类别.

或许可以理解为, 每个图像中包含的类别不止一个, 所以实际上这是一个多类别的任务. 对于本文的设定, 每个输入可能无法事先知道存在哪些类别, 所以直接一次性生成20个类别的预测.

实验结果中非常有趣的一点是提出的CLIPSeg在unseen类上的性能要比在seen上的好. 作者任务这可能是因为实际的seen类要比unseen更难一些. 例如, 对于unseen-4的设定, 四个类分别是airplane/cow/motorbike/sofa, 他们多为大且相对独特的目标.

image.png

One-shot Segmentation

这类任务中, 目标的识别需要借助于提示图像和对应的mask, 所以也就无法依赖于文本标签了.

这里使用前面提到的三种操作处理提示图像来突出目标.

这里使用相同的策略移除了和Pascal重叠的类别.

image.png

image.png

Open Vocabulary

image.png

这里探究了对于三种不同文本prompt下的预测效果.

  • Generalized Prompts: 亦为affordance-like prompt.
  • Descriptive Prompts from PhraseCut test set: 上图中黄色区域额外测试了使用错误颜色描述的情况.

提示中的细节信息(蓝色框中)和颜色信息(橙色框中)对预测对象的判定影响很大.

image.png

为了定量评估generalized prompt的性能, 作者构建了 LVIS 测试数据集的子集, 其中仅包含与affordance或者attribute相对应的类的图像. 然后要求模型以这些作为prompt进行分割. 例如, 当使用"sit on"作为提示时, 计算与扶手椅、沙发和双人沙发目标之间的前景IoU. 类别映射的完整列表可见论文的附表.

实验发现 PC+ 上训练的 CLIPSeg 版本比 CLIP-Deconv 基线, 和在 LVIS 上训练的CLIPSeg表现更好(它只包含对象标签而不是复杂的短语).

这一结果表明, 数据集的多变性和模型的复杂性对于泛化都是必要的.

ViTSeg 表现更差, 这是意料之中的, 因为它没有使用以泛化能力而闻名的强大的 CLIP backbone.

Ablation Study

image.png

从图中可以看到, CLIP的预训练权重对于提出的CLIPSeg非常重要. 混合prompt形式的训练使得模型对于不同输入的独立性能更加平衡.

CLIP对于输入尺寸的依赖性分析

由于多头注意力不需要固定数量的标记, CLIP 中的transformer可以处理任意大小输入. 然而, 公开可用的 CLIP 模型(ViT-B/16 和 ViT-B/32)是在 224×224 图像上训练的. 这里在分类任务中测量了 CLIP 性能与输入图像大小的相关性.

从两个 CLIP 编码器中, 提取最后一层的 CLS 向量. 使用此向量作为输入, 在 ImageNet 子集上训练逻辑回归分类器以区分 67 类车辆.

image.png

结果表明 CLIP 通常可以很好地处理大图像尺寸, ViT-B/16版本在大约 350×350 的尺寸下表现出更好的性能.

文本prompt形式、目标大小和类别

image.png

为了更好理解模型的表现, 这里比较了不同形式的文本prompt、目标大小和类别.

实验是通过PC+上预训练的CLIPSeg. 在所有情况下训练期间随机抽取不同的提示形式. 这里评估了 PhraseCut 测试集 5000 个样本的性能.

  • 几种prompt形式对性能的影响很小.
  • 在较大对象上有更好性能的趋势明显.
  • 不同类别的表现相当平衡.
有为少年
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Zero-shot-Instance-Segmentation:CVPR纸的零代码实例分割代码
03-28
CVPR2021纸的代码 零镜头实例分割 规范要求 的Python：python3.7 英伟达GPU pytorch1.1.0 GCC> = 5.4 NCCL 2 require.txt中的其他python库 安装 conda create -n zsi python=3.7 -y conda activate zsi conda install pytorch=1.1.0 torchvision=0.3.0 cudatoolkit=10.0 -c pytorch pip install cython && pip --no-cache-dir install -r requirements.txt python setup.py develop 数据准备 从下载zsi的训练和测试注解文件，将所有json标签文件放入 data/coco/annotations/ 下载MS
[小样本图像分割]SG-One: Similarity Guidance Network for One-Shot Semantic Segmentation
qq_38932073的博客
03-31 2492
SG-One:用于一次性语义分割的相似引导网络（IEEE Transactions on Cybernetics 2020） 这篇文章提到的Masked Global Average Pooling比较重要，后面的很多小样本分割文章都有用到，甚至是作为融合支持图像与其标注的标配！ 论文地址 摘要 在这篇文章中，主要提出了一个简单而有效的相似性引导网络来解决One-Shot分割问题。我们的目的是通过和查询图像同一类别的一个带有密集标记的支持图像来预测一个查询图像的分割掩码。为了获得支持图像的鲁棒代表特征，我们
Segment Anything专题论文和代码汇总
如果想成为中心，那么就到中心去吧。
05-24 2609
分段任意事物模型（SAM）的成功证明了以数据为中心的机器学习的重要性。然而，由于标注遥感（RS）图像的困难和高成本，大量有价值的RS数据仍未被标记，特别是在像素级。在本研究中，我们利用SAM和现有的RS目标检测数据集，开发了一个有效的管道来生成一个大规模的RS分割数据集，称为SAMRS。SAMRS在大小上比现有的高分辨率RS分割数据集多出几个数量级，并提供了对象类别、位置和实例信息，可以用于语义分割、实例分割和对象检测，可以单独或组合。我们还从各个方面对SAMRS进行了全面的分析。
One-Shot Video Object Segmentation理解
dreamweaverccc的博客
05-21 1702
Caelles S , Maninis K K , Pont-Tuset J , et al. One-Shot Video Object Segmentation[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.
【计算机视觉 | 目标检测 | 图像分割】Grounded Segment Anything：Grounding DINO + Segment Anything Model (SAM)介绍
wzk4869的博客
09-19 1924
【计算机视觉 | 目标检测 | 图像分割】Grounded Segment Anything：Grounding DINO + Segment Anything Model (SAM)介绍
Awesome-Referring-Image-Segmentation:关于参考图像分割的论文集
05-16
令人敬畏的图像分割 参考图像分割论文和数据集的集合。 随意创建PR或问题。 大纲 1.数据集 简称 纸 来源 代码/项目链接 推荐 2014年EMNLP Google参考 CVPR 2016 UNC ECCV 2016 UNC + ECCV 2016 [数据集] CLEVR参考+ CLEVR-Ref +：使用引用表达式诊断视觉推理 CVPR 2019 [项目] VGPhraseCut PhraseCut：野外基于语言的图像分割 CVPR 2020 [项目] 2.传统的参考图像分割 简称 纸 来源 代码/项目链接 LTS 找到然后分割：用于参考图像分割的强大管道 CVPR 2021 CGAN 级联分组注意网络，用于引用表达分段 ACM MM 2020年 最小二乘 用于参考图像分割的语言结构指导的上下文建模 ECCV 2020 CMPC-Refseg 通过
【图像分割】视觉大模型SEEM(Segment Everything Everywhere All at Once)原理解读
qq_45752541的博客
05-04 4901
视觉通用大模型第二弹！继SAM之后，更加通用、交互式且包含语义的分割大模型
SEEM：微软基于 CV 大模型新作，分割“瞬息全宇宙”
夕小瑶科技说
04-15 2139
文 | 智商掉了一地交互式视觉分割新作，具有语义感知的新模型~自从 Meta 发布了“分割一切”的 SAM 之后，各种二创如雨后春笋般冒出，昨天微软的一篇论文又在推特上引起讨论，虽然最开始吸引小编的是它的名字——分割“瞬息全宇宙”（《Everything,Everywhere, All at Once》），看到后满脑子都是杨紫琼斩获奥斯卡最佳女主角的这个电影：▲图1 用 SEEM 分割电影剧照（图...
SiamMask：视频跟踪最高精度 （中科院王强大神作品）
热门推荐
沈春旭的博客
03-16 2万+
论文水平：CVPR 2019https://arxiv.org/pdf/1812.05050.pdf 测试代码：https://github.com/foolwood/SiamMask 跟踪算法近年的发展（中科院王强博士维护）。相关滤波的发展已经经过了几代迭代，发展到了瓶颈期。深度学习应该是以 SiamFC 为代表的 Siamese Tracker 脱颖而出。 1. 背景 今年C...
[分割一切！] SegmentAnything真的太强了
qq_41003479的博客
04-12 2688
总体体验下来，SAM最大的大招和冲击那就是样本标注，这种精细化交互式标注将杀死我们以前纯人工划区域的方式，并且大大提高样本的精度和降低样本标注的成本！还在用labelIMG传统标注？来体验一下SAM模型的赛博标注吧！
CVPR2022 Image Dehazing Transformer with Transmission-Aware 3D代码
09-24
CVPR 2022 Image Dehazing Transformer with Transmission-Aware 3D Position Embedding 源代码，很有学习价值，大佬任文琦团队的最新去雾杰作，从3D定位的角度去思考去雾。CVPR 2022 Image Dehazing Transformer ...
CVPR中ImageSegmentation 18篇Paper
04-12
最近几年cvpr中有关ImageSegmentation的18篇论文合集整理，想学习图像分割的必看！！
CVPR 2022｜利用属性编辑实现可控、可靠的小样本图像生成.url
10-21
CVPR 2022｜利用属性编辑实现可控、可靠的小样本图像生成.url
CVPR 2022 LaTex 模板
05-07
CVPR 2022 LaTex 模板
Latex CVPR 2022模板
03-03
│ cvpr.sty │ egbib.bib │ ieee_fullname.bst │ PaperForReview.pdf │ PaperForReview.tex │ README.md │ RebuttalTemplate.pdf │ RebuttalTemplate.tex
【炼金术士】BatchSize对网络训练的影响
kabuto_hui的博客
04-25 1338
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率。针对BatchSize越大，网络训练速度快这条很好理解，在相同的单位时间内，一次训练的数据越多，网络训练的速度也就越快。初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性。
linux 编译opencv遇到问题
123
04-26 668
linux 编译opencv遇到问题
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
最新发布
gangyikeji的博客
04-28 1022
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
TR6 - Transformer实战 单词预测
Loser
04-26 1328
实验做的还是比较简单的，Transformer模型中的编码器直接使用的是pytorch框架预定义好的模块，但是对于理解整个模型的训练过程还是非常有帮助的。在实验的过程中，发现torchtext模块也已经不在维护了，和计算机视觉不同，自然语言处理的模型的输入格式灵活多变，经常需要自己写代码调整，比如上面的data_process函数。
toward fast, flexible, and robust low-light image enhancement(cvpr2022)代码
01-24
"toward fast, flexible, and robust low-light image enhancement (cvpr2022)"是一种针对低光照图像增强的代码。该代码旨在通过快速、灵活和强大的方法，提高低光照条件下图像的质量。 这个代码的特点之一是它的快速性。它能够快速地处理低光照条件下的图像，使图像质量得到改善。与传统的图像增强方法相比，这个代码能够更有效地提高图像的亮度和对比度。 另一个特点是它的灵活性。这个代码具有灵活的参数设置和多种处理选项，可以根据不同场景和需求对图像进行定制化处理。用户可以根据自己的需求调整参数，以达到最佳的图像增强效果。 此外，这个代码还具有强大的性能。它能够处理各种类型的低光照图像，包括室内和室外环境下的图像，并能够有效地提高图像的质量和清晰度。 总的来说，“toward fast, flexible, and robust low-light image enhancement (cvpr2022)”代码是一种高效的低光照图像增强工具，它的快速、灵活和强大的特性使其成为处理低光照图像的理想选择。无论是在科学研究、工程应用还是日常生活中，这个代码都能够有效地提高低光条件下图像的质量，满足用户的各种需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值