利用OpenCLIP高效实现图文嵌入：完整指南及实用示例

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/144143161

# 引言

在现代多模态机器学习中，OpenAI的CLIP已经成为一个强大的工具，能够将图像和文本嵌入到同一个向量空间中，从而实现跨模态的相似性搜索。但以往需要依赖昂贵的API调用来获取这些功能。而今天，我们要介绍的OpenClip是CLIP的开源实现，它让我们能够在本地环境中直接进行高效的图文嵌入。本文将带您深入了解如何使用OpenClip进行图文嵌入，并提供实用的代码示例。

# 主要内容

## 初始化OpenClip

需要首先安装所需的库和包以方便OpenClip的使用：

```python
%pip install --upgrade --quiet langchain-experimental
%pip install --upgrade --quiet pillow open_clip_torch torch matplotlib

模型选择

OpenClip支持不同大小和性能的模型。根据需求，您可以选择合适的模型：

import open_clip

# 列出可用的模型
open_clip.list_pretrained()

# 更大更高效的模型
model_name = "ViT-g-14"
checkpoint = "laion2b_s34b_b88k"

# 较小性能略低的模型
model_name = "ViT-B-32"
checkpoint = "laion2b_s34b_b79k"

嵌入文本和图像

通过OpenCLIPEmbeddings类，我们可以简单地对文本和图像进行嵌入：

from langchain_experimental.open_clip import OpenCLIPEmbeddings
from PIL import Image

# 图像URIs
uri_dog = "/Users/rlm/Desktop/test/dog.jpg"
uri_house = "/Users/rlm/Desktop/test/house.jpg"

# 初始化模型
clip_embd = OpenCLIPEmbeddings(model_name="ViT-g-14", checkpoint="laion2b_s34b_b88k")

# 嵌入图像
img_feat_dog = clip_embd.embed_image([uri_dog])
img_feat_house = clip_embd.embed_image([uri_house])

# 嵌入文本
text_feat_dog = clip_embd.embed_documents(["dog"])
text_feat_house = clip_embd.embed_documents(["house"])

计算相似性

最后，我们计算文本和图像之间的相似性：

import numpy as np
import matplotlib.pyplot as plt

# 将嵌入的特征转换为numpy数组
img_features_np = np.array([img_feat_dog, img_feat_house])
text_features_np = np.array([text_feat_dog, text_feat_house])

# 计算余弦相似性
similarity = np.matmul(text_features_np, img_features_np.T)

# 可视化结果
plt.figure(figsize=(6, 4))
plt.imshow(similarity, cmap='viridis')
plt.colorbar()
plt.title("Text-Image Similarity")
plt.show()