CV技术指南 | DetailCLIP 通过自蒸馏和像素级重建提升视觉语言模型的分割精度 ！

本文来源公众号“CV技术指南”，仅用于学术分享，侵权删，干货满满。

原文链接：DetailCLIP 通过自蒸馏和像素级重建提升视觉语言模型的分割精度 ！

前言 在本文中，作者提出了DetailCLIP：一种面向细节的CLIP，以解决基于对比学习的视觉语言模型的局限性，尤其是在处理面向细节和细粒度任务（如分割）方面。尽管CLIP及其变体在图像和文本表示的整体对齐方面表现出色，但它们通常难以捕捉精确分割所必需的细粒度细节。为了解决这些问题，作者提出了一种新的框架，该框架采用自蒸馏和像素级重建损失的层次比较，并增强了一个基于注意力的标记删除机制。这种方法选择性地保留语义相关的标记，使模型能够专注于与作者的模型特定功能（包括文本处理、标记比较和图像重建）对齐的图像关键区域，确保学习高级语义和详细视觉特征。

代码链接：GitHub - KishoreP1/DetailCLIP: Detail-Oriented CLIP for Fine-Grained Tasks

1 Introduction

计算机视觉的快速进步使得能够精确理解并解释视觉数据的强大模型得到发展。其中，CLIP（对比语言图像预训练）[38] 脱颖而出，作为一种依赖图像与文本之间大规模对比学习的共享嵌入空间的先导方法。它在分类任务中表现出色，无需直接监督就能理解并关联到视觉内容到文本描述。

然而，尽管 CLIP 在概括性和高级语义理解方面表现出色，但其依赖对比损失的特性在适应更细粒度任务（如图像分割）时带来了明显的挑战。细粒度任务（如分割）要求对整个场景有全面的了解，并在像素 Level 精确划分物体边界。然而，对比学习中学习的全局表示往往无法捕捉这种详细 Level ，这导致在细节任务中使用 CLIP 性能不佳。

此外，传统的自监督学习（SSL）方法，由于其能够从无标注数据中学习，在细粒度任务中的应用通常是不够的。这些方法，包括对比学习或基于聚类的技术[32]，主要关注学习对高层任务（如分类或检测）有用的表示。然而，它们往往无法捕捉精细细节和空间关系，这对于精确边界划分和详细特征提取至关重要。这一限制在遮挡图像建模（MIM）方法中尤为明显，如 MAE[16]，SimMIM[47] 和 iBOT[56]，虽然它们在学

DetailCLIP引入了一个注意力-聚焦机制，用于保留图像中最相关且详细的部分。这种机制与相应的详细导向任务和文本描述有着紧密的联系。在图1中可以看出，该机制突出了任务的关键区域，确保了模型专注于最相关的细节。通过结合文本上下文，DetailCLIP增强了模型理解和强调与当前任务最相关的图像关键部分的能

• 作者提出了一种新的基于注意力的分词删除机制，该机制可