预训练模型杂记

1 CLIP

CLIP是OpenAI于2021年发表的，是一种基于对比文本-图像对的预训练方法，可以直接实现zero-shot（直接推理，不需要任何训练微调）的图像分类，可以实现zero-shot检测，即检测训练数据集没有包含的类别。

CLIP 在做视频检索时，输入文本可直接找到视频中出现的对应物体（一帧一帧和文本特征作对比，找到最相似的一帧）

CLIP利用多模态的对比学习，使得自然语言可以引导模型学习视觉概念，从而实现非常灵活的zero-shot迁移。为了提升效率，预训练方法采用对比学习。

2 CLIP语义分割

语义分割可看作像素级别的分类。

论文：Language-driven Semantic Segmentation | Papers With Code

LSeg的意义在于将文本的分支加入到传统的有监督分割的pipeline模型中，通过矩阵相乘将文本和图像结合起来了。训练时可以学到language aware（语言文本意识）的视觉特征，从而在最后推理的时候能使用文本prompt得到任意你想要的分割结果。