AggressiveYu的博客

在深度学习追求“更大数据、更强模型”的浪潮中，昂贵的人工标注成本始终是一道难题。自监督学习（Self-Supervised Learning）为此而生，旨在让模型从海量无标签数据中自我进化，而其中的“对比学习”更是当今最闪亮的明星。然而，传统的对比学习方法常常受限于巨大的计算资源（尤其是显存）。本文将带你深入探索里程碑式的工作——MOCO (Momentum Contrast)。我们将从最基础的“表示学习”、“对比学习”等概念讲起，循序渐进地剖析MOCO如何巧妙地将学习过程类比为“字典查询”，并最终通过

CLIP 的出现是多模态领域的里程碑，催生了一系列后续工作和应用：CLIP 最重要的应用之一是作为引导信号。著名的 ​DALL-E 2​ 和 ​Stable Diffusion​ 等文生图模型，都使用 CLIP 的文本编码器来理解用户输入的文字提示，并指导扩散模型生成与之匹配的图像。

这个项目是一个基于CLIP  和 ViT 的相似图像检索系统，使用PyTorch从零开始实现。该项目适合用于学习目的，帮助理解图像特征提取和相似度检索的基本原理。我相信大家只要认真看完，绝对大有裨益，不仅可以加深大家的代码能力，更能从原理上让大家理解透彻CLIP这个里程碑级别的多模态模型。