【多模态】CLIP-KD: An Empirical Study of CLIP Model Distillation

论文：CLIP-KD: An Empirical Study of CLIP Model Distillation
链接：https://arxiv.org/pdf/2307.12732
CVPR 2024

Introduction

1. Motivation：使用大的Teacher CLIP模型有监督蒸馏小CLIP模型，出发点基于在资源受限的应用中，通过teacher模型改进有价值的小CLIP模型。
2. 贡献点：提出了多种蒸馏策略，包括relation, feature, gradient and contrastive paradigms四种，检查CLIP-Knowledge Distillation (KD)的有效性
3. MSE（Mean Squared Error）loss有效，但是文中证明teacher和student encoder间通过交互式对比学习也很有效。原因归结为最大化了teacher和student模型的特征相似性。
4. 在zero shot上取得了较好的效果
5. 主要对比基线：TinyCLIP，作者认为该模型受限于weight inheritance，teacher和student模型必须same architecture-style。
6. 整个过程分为两个视角：mimicry learning和interactive learning
   a. Mimicry learning阶段引导student对齐teacher生成的对应知识，其核心问题在于如何构建有意义的知识。contrastive image-to-text relationships, (image, text) features and gradients
   b. Interactive learning阶段将teacher和student结合起来进行联合对比