1 CLIP
CLIP是OpenAI于2021年发表的,是一种基于对比文本-图像对的预训练方法,可以直接实现zero-shot(直接推理,不需要任何训练微调)的图像分类,可以实现zero-shot检测,即检测训练数据集没有包含的类别。
CLIP 在做视频检索时,输入文本可直接找到视频中出现的对应物体(一帧一帧和文本特征作对比,找到最相似的一帧)
CLIP利用多模态的对比学习,使得自然语言可以引导模型学习视觉概念,从而实现非常灵活的zero-shot迁移。为了提升效率,预训练方法采用对比学习。
2 CLIP语义分割
语义分割可看作像素级别的分类。
论文:Language-driven Semantic Segmentation | Papers With Code
LSeg
的意义在于将文本的分支加入到传统的有监督分割的pipeline模型中,通过矩阵相乘将文本和图像结合起来了。训练时可以学到language aware(语言文本意识)的视觉特征,从而在最后推理的时候能使用文本prompt得到任意你想要的分割结果。