CVPR 2023 | X-Decoder: 下一代通用视觉系统设计范式

本文首发于微信公众号 CVHub,未经授权不得以任何形式售卖或私自转载到其它平台,仅供学习,违者必究!

Title: X-Decoder: Generalized Decoding for Pixel, Image and Language
Paper: https://arxiv.org/pdf/2212.11270.pdf
Code: https://github.com/microsoft/X-Decoder/tree/main
Demo: https://huggingface.co/spaces/xdecoder/Demo

导读

燃炸!一图胜千言。X-Decoder 经过预训练以后,仅使用同一套参数便可以处理各种图像分割和视觉-语言任务,并且能够处理更复杂的组合任务,例如引用字幕和图像编辑。

简单来说,本文主要贡献在于提出一种名为X-Decoder的模型,它具有广义解码能力,能够同时处理像素级分割语言标记任务,并在多个视觉-语言等多模态任务上展现出强大的性能。该模型通过学习共享的视觉-语义理解空间,无需伪标签即可实现任务之间的交互和迁移学习。它在分割和视觉-语言任务中取得了最新的结果,并且在零样本学习和微调设置下表现出很高的灵活性。

NOTE: Here, ‘X’ denotes versatile, and also represents ‘piXel’.

挑战

1. 不同粒度级别上的视觉理解问题

视觉领域长期以来一直存在着不同粒度级别上的理解问题,涵盖了从图像级任务(例如图像分类、图像-文本检索、图像字幕和视觉问答)到区域级定位任务(例如目标检测和短语定位)再到像素级分组任务(例如图像实例/语义/全景分割)的各种任务。

2. 对像素级理解的重要性和挑战

从像素级别理解图像可以说是最重要且最具挑战性的问题之一,原因如下:(1)像素级注释成本高昂,与其他类型的注释相比无疑更加稀缺;(2)以开放词汇方式对每个像素进行分组和识别的研究较少;(3)更重要的是,在两个明显不同粒度级别上的数据中学习并获得相互的好处是非常复杂的。

3. 现有工作的局限性

现有的一些工作尝试从不同方面弥合像素级理解的差距,但仍存在一些局限性。例如,目前流行的大一统架构,如One-Former等,虽然能够取得一定的性能,但这些任务是在一个封闭集合中进行的。再比如,为了支持开放词汇识别,有些会将CLIPALIGN这类图像级视觉-语言基础模型的丰富语义知识转移或蒸馏到专门的模型中。然而,所有这些初始探索都集中在特定的分割任务上,并没有展示在不同粒度级别上的任务的泛化性能。

方法

上面是 X-Decoder 的整个架构示意图,乍看之下是不是很简单,一个图像编码器、一个文本编码器和一个精心设计的解码器,完事。

严肃点,这其实就是个广义的解码框架,将所有任务,包括像素级图像分割、图像级检索和视觉-语言任务,都归纳为通用的解码过程,可以套在大多数的多模态框架上。具体而言,X-Decoder基于视觉编码器构建,用于提取多尺度图像特征,整体框架遵循Mask2Former。So,它的关键创新点便是解码器部分。

首先,它接受两组查询作为输入:

  • 通用的非语义查询,旨在解码通用分割的分割掩码,类似于Mask2Former
  • 新引入的文本查询,使解码器对各种与语言相关的视觉任务具备语言感知能力;

其次,X-Decoder预测两种类型的输出:

  • 像素级掩码
  • 标记级语义

这两种类型的不同组合可以无缝地支持所有感兴趣的任务。

最后,作者使用单个文本编码器来编码涉及所有任务的文本语料库,包括分割中的概念,引用分割中的短语,图像字幕中的标记和VQA中的问题等。同时解耦了图像编码器和文本编码器,以适应跨图像任务(例如图像-文本检索)和图像内任务(例如分割和字幕生成)的需求。因此,本文方法可以自然地促进任务之间的协同作用,并倡导学习共享的视觉-语义空间,同时很好兼容不同任务的异质性。

如上图所示,X-Decoder可以很方便地用于统一各种视觉和视觉-语言任务:

  • 通用分割:支持实例分割、语义分割和全景分割,均支持开放词汇和零样本设置。
  • 引用分割:根据来自文本编码器的任意文本查询,引用特定图像区域段。
  • 图像-文本检索:解耦图像和文本表示提取,并使用点积计算相似度。
  • 图像字幕生成:使用完全相同的解码器以自回归方式解码文本标记。

实验

定量分析

Zero-Shot Segmentation

Chart 1. Left: Compared with SoTA; Right: Finetuned Segmentation Result Compared with SoTA.

Segmentation In the Wild

Chart 2. Zero-shot instance segmentation performance on SeginW benchmark.

定性分析

Zero-Shot Segmentation

Figure 4. Zero-shot semantic segmentation with pretrained X-Decoder on 10 settings of 7 datasets.

Zero-shot Segmentation for Videos

Figure 5. Zero-shot panoptic segmentation for YouTubeVOS video dataset.

Referring Segmentation for Videos

Figure 6. Zero-shot referring segmentation for YouTubeVOS video dataset.

Image Captioning

Figure 7. Zero-shot image captioning on YoutubeVOS video frames.

Referring Image Captioning

Figure 8. Zero-shot referring image captioning on COCO 2017 val images (pink regions are referred).

Referring Image Editing

Figure 9. Zero-shot referring image editing by combining X-Decoder with Stable Diffusion inpainting.

Segmentation in the Wild

Figure 10. Ground Truth visualization of segmentation in the wild datasets from Roboflow for a wider evaluation.

总结

本文提供了一种广义的解码器X-Decoder,能够无缝支持像素级和图像级视觉-语言理解的模型。通过简洁而通用的设计,X-Decoder 可以轻松地统一和支持通用分割、引用分割和视觉-语言任务,实现了强大的泛化能力和竞争性甚至是最先进的性能。

作者希望这项工作能够为下一代通用视觉系统的设计提供启示,但就目前来看,X-Decoder虽然在实现像素级和图像级视觉-语言理解方面具有很大的潜力,并在多个任务中展现了强大的性能和泛化能力,但是笔者认为还有一些常见的局限性,随便举两个例子:

数据稀缺性

像素级注释是一项昂贵且相对稀缺的资源,这可能限制了X-Decoder在某些任务上的应用。尽管X-Decoder通过预训练和零样本学习减少了对大量注释数据的需求,但在一些特定任务和领域中,可能仍然需要更多的标注数据来实现更好的性能。

开放世界的挑战

另一方面,X-Decoder 是在开放词汇情况下进行图像分割和语义理解。尽管其采取了一些策略来支持开放词汇的识别,但在处理新颖类别和不常见语义的情况下,仍然会面临同样的问题。通过示例可以看出,其实模型解决的大部分场景还是比较单一,或者说语义相对来说非常简单。

基于以上观点,或许我们可以考虑从三个方面入手:

强化泛化能力

例如,进一步研究如何提高X-Decoder的泛化能力,特别是在有限标注数据和开放词汇的情况下。可以探索半监督学习、迁移学习和元学习等技术,以利用未标注数据和先前学习的知识来改善性能。

模型解释性和可解释性

尽管X-Decoder在多任务学习和跨模态理解方面具有强大的能力,但如何解释和理解其内部工作机制仍然是一个有待研究的问题。进一步研究如何增强模型的解释性和可解释性,可以帮助我们更好地理解和信任模型的决策过程。

更广泛的任务支持

X-Decoder的通用性和灵活性为进一步扩展其任务支持提供了机会。因此,我们可以探索将X-Decoder应用于其他视觉和视觉-语言任务,如视频理解、图像生成等,以及在更多领域和数据集上的应用。当然,No money, no talk.

总的来说,大语言模型+多模态之路目前来看还是任重而道远~~~

总结

论文介绍了Make-It-3D,这是一种新颖的两阶段的方法,可以从单个图像创建高保真度的三维内容。利用扩散先验作为三维感知监督,通过扩散CLIP损失和纹理点云增强,生成的3D模型展现了符合预期的几何形状和逼真的纹理。Make-It-3D适用于一般对象,赋予了多样的迷人应用。研究者相信论文的方法在将2D内容创作的成功扩展到3D方面迈出了重要一步,为用户提供了全新的3D创作体验。

关注我们

CVHub是一家专注于计算机视觉领域的高质量知识分享平台:

  • 全站技术文章原创率达99%!
  • 每日为您呈献全方位、多领域、有深度的前沿AI论文解决及配套的行业级应用解决方案,提供科研 | 技术 | 就业一站式服务!
  • 涵盖有监督/半监督/无监督/自监督的各类2D/3D的检测/分类/分割/跟踪/姿态/超分/重建等全栈领域以及最新的AIGC等生成式模型!

关注微信公众号,欢迎参与实时的学术&技术互动交流,领取学习大礼包,及时订阅最新的国内外大厂校招&社招资讯!


即日起,CVHub 正式开通知识星球,首期提供以下服务:

  1. 本星球主打知识问答服务,包括但不仅限于算法原理项目实战职业规划科研思想等。
  2. 本星球秉持高质量AI技术分享,涵盖:每日优质论文速递,优质论文解读知识点总结等。
  3. 本星球力邀各行业AI大佬,提供各行业经验分享,星球内部成员可深度了解各行业学术/产业最新进展。
  4. 本星球不定期分享学术论文思路,包括但不限于Challenge分析,创新点挖掘实验配置写作经验等。
  5. 本星球提供大量 AI 岗位就业招聘资源,包括但不限于CVNLPAIGC等;同时不定期分享各类实用工具干货资料等。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CVHub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值