CLIP：连接文本和图像

OpenAI公司发布了一个名为CLIP的神经网络，它可以有效地从自然语言监督中学习视觉概念。只需简单地提供要识别的视觉类别的名称，CLIP便可以用于任何视觉分类基准，类似于GPT-2和GPT-3的“零次”功能。

 

虽然深度学习已经彻底改变了计算机视觉，但目前的方法有几个主要问题：典型的视觉数据集是劳动密集型的，创建成本很高，且只教授一组狭窄的视觉概念；标准的视觉模型只擅长一项任务，并且需要付出巨大的努力来适应新的任务；在基准测试中表现良好的模型在压力测试中的表现令人失望，让人对计算机视觉深度学习方法产生了怀疑。OpenAI公司提出了一个名为CLIP的神经网络，旨在解决这些问题。

CLIP是用互联网上大量可用的具有各种各样自然语言监督的图像数据集训练的。通过设计，可以用自然语言指导CLIP执行各种分类基准测试，而无需直接优化基准测试的性能，类似于GPT-2和GPT-3的“零次”功能。

 

CLIP在不使用任何原始的1.28M标记示例的情况下，仍可以达到原始ResNet-50在ImageNet zero-shot上的性能，将“鲁棒性差距”缩小了75% 。