Text2Image评价指标——CLIP Score（2）

之前写的那篇是直接用了clip-vit-large-patch14，今天这里主要是使用CLIP模型来实现的，所以在运行代码之前请安装好CLIP。

代码主要的一些过程：

        首先加载模型和预处理器，然后从文件夹中读取图片和文本，然后对图片和文本进行编码，然后来计算CLIP分数：计算图像和文本特征向量之间的点积，得到的结果就是两个特征向量之间的余弦相似度，也就是CLIP分数。

Text-Image：

import os

import numpy as np
import torch
import clip
from PIL import Image
from tqdm import tqdm

device = "cuda" if torch.cuda.is_available() else "cpu"
torch.cuda.set_device(7)
# 加载模型、数据处理器
model, preprocess = clip.load("ViT-B/32", device=device)
model.eval()
# model, preprocess = clip.load("ViT-L/14", device=device)



def get_all_folders(folder_path):
    # 获取文件夹中的所有文件和文件夹
    all_files = os.listdir(folder_path)
    # 过滤所有的文件夹
    folder_files = [file for file in all_files if os.path.isdir(os.path.join(folder_path, file))]
    # 将文件夹的路径添加到一个列表中
    folder_paths = [os.path.join(folder_path, folder_file) for folder_file in folder_files]
    # 返回列表
    return folder_paths

def get_all_images(folder_path):
    # 获取文件夹中的所有文件和文件夹
    all_files = os.listdir(folder_path)
    # 过滤所有的图片文件
    image_files = [file for file in all_files if file.endswith((".jpg", ".png", ".jpeg"))]
    # 将图片文件的路径添加到一个列表中
    image_paths = [os.path.join(folder_path, image_file) for image_file in image_files]
    # 返回列表
    return image_paths

def get_clip_score(image_path, text):
    # 打开图片并进行预处理
    image = preprocess(Image.open(image_path)).unsqueeze(0).to(device)
    # print(f"Image shape: {image.shape}")

    # 对文本进行编码
    text = clip.tokenize([text]).to(device)

    with torch.no_grad():
        # 对图片进行编码