clip安装使用教程（24-7-11更新，包括虚拟环境下的安装和使用）

yxx35AN

已于 2024-07-11 15:55:47 修改

阅读量1.1w

点赞数 23

文章标签：深度学习 pytorch 人工智能

于 2024-01-16 19:08:43 首次发布

本文链接：https://blog.csdn.net/yxx35AN/article/details/135629888

版权

本文介绍了如何在Python环境中配置必要的依赖，如pip安装transformers和torch，以及如何安装和使用CLIP模型进行图像文本相似度计算。作者详细描述了解压和安装过程，并处理了遇到的常见错误，如加载tokenizer问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.配置环境安装依赖

pip install transformers
pip install torch

看缺失什么包自己先安装好

2.安装clip

进入https://github.com/openai/CLIP，先将CLIP文件夹下载到本地，随便什么位置。即点击下图中的Download ZIP，下载到本地后进行解压，即得到文件夹CLIP-main，保存位置没有讲究。

最后在cmd下切换到你保存上述文件夹的位置，cd进入文件夹CLIP-main，然后输入

python install .

注：使用python setup.py install 会报错 ....setup.py install is deprecated....

注：如果你的代码在虚拟环境下的话，就必须在虚拟环境下安装clip

虚拟环境下安装clip的具体步骤：打开Anaconda，激活虚拟环境，在虚拟环境下进入文件夹CLIP-main，然后再输入pip install .进行clip包的安装。

注：本来是想clone下来，但报错error：subprocess-exited-with-error，采用以上方法解决

接着进入https://huggingface.co/models，选择自己要用的模型，我这里用的是clip-vit-base-patch32

下载这些文件，将它们放在你手动创建的openai/clip-vit-base-patch32文件夹中

注：刚开始直接运行代码报错，Can't load tokenizer for 'openai/clip-vit-base-patch32'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. 依靠上述方法解决，类似的报错都可以依靠上述方法解决，直接下载本地文件然后放入对应的文件夹就行

3.运行代码

import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

image = preprocess(Image.open("temp.jpg")).unsqueeze(0).to(device)
text = clip.tokenize(["a diagram", "a dog", "a cat"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)