图像分类竞赛进阶技能：OpenAI-CLIP使用范例

最新推荐文章于 2025-08-29 02:07:57 发布

原创

最新推荐文章于 2025-08-29 02:07:57 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #计算机视觉 #人工智能 #深度学习 #神经网络

CLIP是OpenAI提出的一种神经网络模型，旨在解决深度学习在计算机视觉中的局限，如依赖昂贵的数据集，单一任务优化和基准测试的局限性。模型通过大量互联网图像和自然语言监督训练，能用自然语言指导执行分类任务，提高了模型的鲁棒性和泛化能力。CLIP展示了在不直接优化基准测试的情况下，模型性能的提升，减少了对特定数据集的依赖。

OpenAI-CLIP

在这里插入图片描述

官方介绍

尽管深度学习已经彻底改变了计算机视觉，但目前的方法存在几个主要问题:典型的视觉数据集是劳动密集型的，创建成本高，同时只教授一组狭窄的视觉概念;标准视觉模型擅长于一项任务且仅擅长于一项任务，并且需要大量的努力来适应新的任务;在基准测试中表现良好的模型在压力测试中的表现令人失望，1234对整个计算机视觉深度学习方法产生了怀疑。
我们提出了一个旨在解决这些问题的神经网络:它是在各种各样的图像上训练的，有各种各样的自然语言监督，这些图像在互联网上随处可见。通过设计，可以用自然语言指导网络执行各种各样的分类基准测试，而不直接优化基准测试的性能，类似于GPT-25和GPT-3.6的“零镜头”功能。这是一个关键的变化:通过不直接优化基准测试，我们表明它变得更具代表性:我们的系统在不使用任何原始1.28M标记示例的情况下，在ImageNet零拍上与原始ResNet-507的性能匹配时，将这一“鲁棒性差距”缩小了75%。

CLIP使用示例

import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
import os

import cv2
import skimage
import IPython.display
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np
from glob import glob

from collections import OrderedDict
import torch
import gc

%matplotlib inline
%config InlineBackend.figure_format = 'retina'

安装CLIP库

openai-clip-weights链接

!pip install ../input/openaiclipweights/python-ftfy-master/python-ftfy-master
!pip install ../input/openaiclipweights/clip/CLIP
!cp ../input/openaiclipweights/CLIP-main/CLIP-main/clip/bpe_simple_vocab_16e6.txt /opt/conda/lib/python3.7/site