【开放词汇分割】Side Adapter Network for Open-Vocabulary Semantic Segmentation

论文链接：Side Adapter Network for Open-Vocabulary Semantic Segmentation

代码链接：https://github.com/MendelXu/SAN

作者：Mengde Xu,Zheng Zhang,Fangyun Wei,Han Hu,Xiang Bai

发表单位：华中科技大学、微软亚洲研究院

会议/期刊：CVPR2023 Highlight

一、研究背景

ImageNet 上的分割结果。对于每个图像，将其类别与 coco 类别结合起来作为推理过程中的词汇表，并且仅可视化注释类别的掩码

现代语义分割方法依赖于大量标注数据，但数据集通常只包含数十到数百个类别，数据收集和标注成本高昂。近年来，大规模视觉-语言模型（如CLIP）在图像分类任务中取得了巨大成功，但在像素级别的语义分割中应用这些模型面临挑战，因为这些模型的训练侧重于图像级别的对比学习，它学习到的表示缺乏语义分割所需的像素级识别能力。弥补表示粒度差距的一种解决方案是在分割数据集上微调模型。然而，分割数据集的数据量远小于视觉语言预训练数据集，因此微调模型在开放词汇识别上的能力常常受到损害。

将语义分割建模为区域识别问题绕过了上述困难。早期尝试采用两阶段训练框架。

在第一阶段，训练一个独立模型来生成一组蒙版图像作物作为蒙版建议。

在第二阶段，使用视觉语言预训练模型（例如 CLIP）来识别蒙版图像裁剪的类别。然而，由于掩模预测模型完全独立于视觉语言预训练模型，它错过了利用视觉语言预训练模型强大特征的机会，并且预测的掩模图像裁剪可能不适合识别，这会导致模型笨重、缓慢且性能低下。

SAN 概述

为了实现这一目标，提出了一个新的框架（上图所示），称为侧适配器网络 (side adapter network, SAN)。由于端到端训练，它的掩模预测和识别是 CLIP 感知的，并且由于利用了 CLIP 的特性，它可以是轻量级的。

红色虚线表示训练期间的梯度流。在框架中，冻结的 CLIP 模型仍然充当分类器，并且侧适配器网络生成掩码提案和注意偏差，以指导 CLIP 模型的更深层来预测提案明智的分类逻辑。在推理过程中，将 mask proposal 和proposal logits 结合起来，通过 Matmul（矩阵乘法函数）得到最终的预测。

二、整体框架

本文提出了一种新的开放词汇语义分割框架——Side Adapter Network (SAN)。该方法将语义分割任务建模为区域识别问题。SAN附加在冻结的CLIP模型上，具有两个分支：一个用于预测掩码提案，另一个用于预测应用在CLIP模型中的注意力偏差，以识别掩码的类别。整个网络可以端到端训练，使附加的侧网络能够适应冻结的CLIP模型，从而使预测的掩码提案对CLIP感知。

作者证明这种解耦设计提高了分割性能，因为用于 CLIP 识别掩模的区域可能与掩模区域本身不同。为了最大限度地降低 CLIP 的成本，进一步提出了单前向设计：将浅层 CLIP 块的特征融合到 SAN，并将其他更深的块与注意力偏差相结合以进行掩模识别。

因为用于 CLIP 识别掩模的区域可能与掩模区域本身不同的理解：CLIP模型主要是通过对比学习在图像级别进行训练的，其学习到的特征更偏向于全局或大范围的图像特征，而不是具体的像素级别特征。当CLIP模型应用于掩模识别时，它的注意力机制可能会关注到一些与掩模区域有重叠但并不完全一致的区域。这种不完全一致性是因为CLIP的注意力机制可能会将注意力分散到整个图像中一些相关的部分，而不仅仅是掩模的边界或内部区域。

假设有一张图像，其中有一只狗在草地上。CLIP模型可能会关注到整只狗以及周围的草地作为特征进行分类，而语义分割任务仅需要标注出狗的具体轮廓区域。这时，CLIP的识别区域（整只狗和部分草地）与实际需要的掩模区域（狗的轮廓）并不完全一致。

出于公平性和可重复性的目的，该研究基于官方发布的 CLIP 模型。重点关注已发布的 ViT CLIP 模型，因为视觉 Transformer 事实上已经取代 ConvNet 成为计算机视觉社区的主导骨干网，并且为了概念的一致性和简单性，侧适配器网络也由视觉 Transformer 实现。

准确的语义分割需要高分辨率图像，但已发布的ViT CLIP模型是针对低分辨率图像（例如224×224）设计的，直接应用于高分辨率图像，性能较差。为了缓解输入分辨率的冲突，在 CLIP 模型中使用低分辨率图像，在侧适配器网络中使用高分辨率图像。作者证明这种不对称输入分辨率非常有效。此外，还探索仅微调 ViT 模型的位置嵌入并注意改进。

三、核心方法 Side Adapter Network

3.1 架构介绍

Side Adapter Network (SAN) 是一个端到端的框架，旨在充分利用CLIP模型在开放词汇语义分割中的能力。SAN由一个轻量级的视觉Transformer实现，可以利用CLIP的特征，并且有两个输出：掩码提案和用于掩码识别的注意力偏差。这些注意力偏差应用于CLIP的自注意力机制，以识别掩码提案的类别。