使用Jina Embeddings实现文本和图像的智能嵌入

qq_37836323

于 2024-10-07 00:32:57 发布

阅读量95

点赞数 3

文章标签： jina python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142734078

版权

引言

在现代AI应用中，文本和图像嵌入技术是实现语义理解的重要手段。Jina提供了强大的嵌入模型，通过简单的API调用，你可以轻松实现文本和图像的嵌入。本篇文章将介绍如何使用Jina的嵌入功能，以及在实际应用中的一些挑战和解决方案。

主要内容

安装和配置

首先，我们需要安装必要的库：

pip install -U langchain-community

导入库

在编写代码前，导入所需的库：

import requests
from langchain_community.embeddings import JinaEmbeddings
from numpy import dot
from numpy.linalg import norm
from PIL import Image

文本嵌入

使用Jina Embeddings可以非常方便地实现文本嵌入：

# 使用API代理服务提高访问稳定性
text_embeddings = JinaEmbeddings(
    jina_api_key="jina_*", model_name="jina-embeddings-v2-base-en"
)

text = "This is a test document."

query_result = text_embeddings.embed_query(text)
print(query_result)

doc_result = text_embeddings.embed_documents([text])
print(doc_result)

图像和文本描述的嵌入

对于多模态应用，你可以嵌入图像及其文本描述以计算相似度：

# 使用API代理服务提高访问稳定性
multimodal_embeddings = JinaEmbeddings(jina_api_key="jina_*", model_name="jina-clip-v1")

image = "https://avatars.githubusercontent.com/u/126733545?v=4"
description = "Logo of a parrot and a chain on green background"

# 获取并显示图像
im = Image.open(requests.get(image, stream=True).raw)
im.show()

image_result = multimodal_embeddings.embed_images([image])
description_result = multimodal_embeddings.embed_documents([description])

# 计算余弦相似度
cosine_similarity = dot(image_result[0], description_result[0]) / (
    norm(image_result[0]) * norm(description_result[0])
)
print(cosine_similarity)