DIVA：Diffusion Feedback Helps CLIP See Better

• 来源：2024 arXiv
• 作者：Wenxuan Wang^1,2,3,∗ , Quan Sun^1,∗ , Fan Zhang³ , Yepeng Tang⁴ , Jing Liu^1,2 , Xinlong Wang^3,†
• 单位：¹ Institute of Automation, Chinese Academy of Sciences; ² School of Artificial Intelligence, University of Chinese Academy of Sciences; ³ Beijing Academy of Artificial Intelligence; ⁴ Institute of Information Science, Beijing Jiaotong University
• Paper：https://arxiv.org/pdf/2407.20171
• Code： https://rubics-xuan.github.io/DIVA/

研究背景

对比语言-图像预训练（CLIP）在跨领域和跨模态的开放世界表示方面表现出色，已成为各种视觉和多模态任务的基础。

然而，最近的研究表明，CLIP在视觉方面存在严重的缺陷，例如几乎无法区分方向、数量、颜色、结构等。这些视觉缺陷也限制了建立在CLIP之上的多模态大型语言模型（MLLMs）的感知能力。主要原因可能是因为CLIP高度依赖于图像-文本数据对，无法仅在图像数据上实现预期效果。具体因素：

<