CVPR2023新作：文本监督下语义分割

1. Title: A Simple Framework for Text-Supervised Semantic Segmentation (文本监督下语义分割的简单框架)

2. Affiliation: 上海交通大学计算机科学与工程系, MoE Key Lab of Artificial Intelligence, AI Institute (中国上海交通大学计算机科学与工程系, AI研究所)

3. Authors: Muyang Yi, Quan Cui, Hao Wu, Cheng Yang, Osamu Yoshie, Hongtao Lu

4. Keywords: Semantic Segmentation, Text Supervision, Contrastive Language-Image Pre-training, Image-Text Pairs, Zero-Shot Learning

5. Summary:

   • (1): 该文研究了文本监督下的语义分割，旨在解决数据集规模不足的问题。通过预先训练图像和文本组成的数据集，以语义类别为目的标记像素，实现无监督的文本监督下的语义分割。

   • (2): 过去的方法包括监督学习以及弱监督学习，它们需要大量的人工标注信息。此外，现有文本监督下的方法需要特定的网络架构。文章通过对比发现，纯粹的对比学习模型（contrasive language-image pretraining model, CLIP）是有效的文本监督下的语义分割模型。然而，原始模型由于密集对齐视觉和语言表示而不如现有优化方法。该论文提出了一种基于 LoDA 和 SimSeg 两种算法的文本监督下的语义分割框架，可针对 CLIP 优化后的局限性进一步优化。该方法在 PASCAL VOC 2012、PASCAL Context 和 COCO 数据集上表现出比现有的最先进方法更好的性能。

   • (3): 本文提出的方法是使用预训练的 CLIP 模型进行语义分割，使用对比学习的方法来优化模型。LoDA算法通过将模型优化过程中对齐视觉和语言表示改为对齐局部表示，来进一步改进模型。SimSeg 算法通过简单的分类器和卷积操作来实现物体的分割。

   • (4): 在 PASCAL VOC 2012、PASCAL Context 和 COCO 数据集上，该方法的性能优于先进方法。论文的方法在没有额外的标注和监督信息的情况下实现了文本监督下的语义分割任务，可以为文本监督下的语义分割领域提出更有效的方法。

6. Methods:

• (1): 本文提出了一种简单的语义分割框架，使用对比学习训练 CLIP 模型，并通过局部对齐的方式优化模型。在这个框架中，使用由图像和文本组成的数据集，以语义类别为目的标记像素，进行无监督的文本监督语义分割。

• (2): 为了避免 CLIP 模型密集对齐视觉和语言表示的缺点，本文提出了一种名为局部驱动对齐（LoDA）的策略，通过最大响应选择技术自适应地选择本地特征进行优化。

• (3): 本文提出了一个算法名为 SimSeg，使用局部对齐的方法对 CLIP 模型进行训练，并且使用卷积神经网络对物体进行分割。

• (4): 通过在 PASCAL VOC 2012、PASCAL Context 和 COCO 数据集上的实验，证明本文提出的方法性能比现有最先进的方法更好，而且无需额外的标注和监督信息即可实现无监督的文本监督下的语义分割。该方法可为文本监督下的语义分割领域提出更有效的方法。

7. Conclusion:

• (1): 本文提出的文本监督下的语义分割框架可以在无需额外标注和监督信息的情况下实现语义分割任务，为文本监督下的语义分割领域提供了一种更有效的方法。

• (2): 创新点: 本文使用对比学习训练 CLIP 模型，提出了局部驱动对齐（LoDA）策略和 SimSeg 框架，在性能上优于现有最先进方法；工作量: 文章提出的方法需要预先训练图像和文本组成的数据集，在一定程度上增加了工作量。