【开放域目标检测】二：Learning transferable visual models from natural language supervision论文简单讲解

一句话总结：利用text信息监督视觉任务自训练，本质就是将分类任务化成了图文匹配任务，效果可与全监督方法相当。

一、目前sota的视觉系统局限性在哪里？

最先进的计算机视觉系统被训练来预测一组预定的物体类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。

在目前图像分类领域中，我们训练的模型通常会遇到以下问题：

• 模型需要用到大量的格式化标注数据，这些标注数据获取通常成本高昂。
• 模型在当前数据集的效果比较好，但是可能模型的泛化能力较差，同时迁移到新的训练任务也比较困难。

与此同时，互联网上面已经存在了大量的图像文本对（在网页中，开发者一般都会为图片添加一段文字备注），实际上这些素材可以作为已经标注好的数据集，利用这些数据集进行训练，既能解决获取标注数据成本高昂的问题，同时也因为互联网上的数据量比较大和数据本身差异较大，更容易让我们获得泛化能力较强的模型。

CLIP 模型就是基于上述概念，使用 OpenAI 收集到的 4 亿对图像文本对，分别将文本和图像进行编码，之后使用 metric learning 进行训练，其目标是将图像与文本的相似性提高。

二、本文提出的解决办法

直接从原始文本中学习图像是一个很有前途的选择，它利用了更广泛的监督来源。

CLIP模型的实际效果：

• 我们证明了简单的预训练任务，即预测哪个标题caption与哪个图像相匹配，是一种有效的、可拓展的方法，可以从互联网上收集的4亿个（图像、文本）对数据集上从头开始学习SOTA的图像表示；
• 在预训练后，使用自然语言来引用学习到的视觉概念（或描述新的概念），使模型zero-shot转移到下游任务；
• 我们通过对30多个现有计算机视觉数据集的基准测试来研究这种方法的性能，这些数据集涵盖了OCR、视频中的动作识别、地理定位和许多类型的细粒度对象分类等任务；
• 该模型可以很好地转换到大多数任务中，并且经常能与完全监督的基线相竞争，而不需要任何数据集特定的训练。例如，我们在ImageNet zero-shot上得到了与原始ResNet-50相似的准确性，而不需要使用它所训练的128万个训练示例中的任何一个。

在预测阶段，也是通过一系列生成的文本对和目标图像，计算余弦相似度从而获取预测值：

• 双流，2个encoder分别处理文本和图片数据，text encoder使用Transformer，image encoder用了两种模型，ResNet和Vision Transformer(ViT)；
• encoder representation直接线性投影到multi-modal embedding space；
• 计算2模态之间的cosine similarity，让N个匹配的图文对相似度最大，不匹配的图文对相似度最小；
• 对称的cross-entropy loss；
• 数据增强：对resized图片进行random square crop。