图像相似度搜索

图像相似度搜索

本教程系列将涵盖txtai的主要用例，这是一个 AI 驱动的语义搜索平台。该系列的每章都有相关代码，可也可以在colab 中使用。
colab 地址

txtai 的未来版本将添加对图像字幕的支持，这将使图像、音频、文档和文本都位于同一嵌入索引中。本文中的模型旨在将图像放在单独的嵌入索引中。请继续关注有关图像字幕的更多信息！

安装

安装txtai和所有依赖项。由于本文直接使用sentence-transformers，我们需要安装similarity extras包。

pip install txtai[similarity] torchvision ipyplot

# Get test data
wget -N https://github.com/neuml/txtai/releases/download/v2.0.0/tests.tar.gz
tar -xvzf tests.tar.gz

创建嵌入模型

sentence-transformers最近增加了对OpenAI CLIP 模型的支持。该模型将文本和图像嵌入到同一空间中，从而实现图像相似性搜索。txtai 可以通过句子转换器直接使用这些模型。查看上面的句子转换器链接，了解有关如何使用此模型的其他示例。

本节在一系列图像上构建嵌入索引。

import glob

from PIL import Image

from txtai.embeddings import Embeddings

def images():
  for path in glob.glob('txtai/*jpg'):
    yield (path, Image.open(path), None)

embeddings = Embeddings({"method": "sentence-transformers", "path": "clip-ViT-B-32"})
embeddings.index(images())

搜索索引

现在我们有了一个索引，让我们搜索它！本节针对索引运行一系列查询，并显示每个查询的最高结果。不得不说这个好看🔥🔥🔥

import ipyplot
from PIL import Image

images, labels = [], []
for query in ["Walking into the office", "Saturday cleaning the yard", "Working on the latest report", "Working on my homework", "Watching an exciting race",
              "The universe is massive", "Time lapse video of traffic", "Relaxing Thanksgiving day"]:
  index, _ = embeddings.search(query, 1)[0]

  images.append(Image.open(index))
  labels.append(query)

ipyplot.plot_images(images, labels, img_width=425, force_b64=True)

多语言支持

Sentence-transformers 还有一个支持 50 多种语言的模型。这使得使用具有图像索引的语言运行查询成为可能。

请注意，此模型仅支持文本，因此必须首先使用上面使用的模型对图像进行索引

import ipyplot
from PIL import Image

from txtai.pipeline import Translation

# Update model at query time to support multilingual queries
embeddings.config["path"] = "sentence-transformers/clip-ViT-B-32-multilingual-v1"
embeddings.model = embeddings.loadVectors()

# Translate queries to German
queries = ["Walking into the office", "Saturday cleaning the yard", "Working on the latest analysis", "Working on my homework", "Watching an exciting race",
           "The universe is massive", "Time lapse video of traffic", "Relaxing Thanksgiving day"]
translate = Translation()
translated = translate(queries, "de")

images, labels = [], []
for x, query in enumerate(translated):

  index, _ = embeddings.search(query, 1)[0]

  images.append(Image.open(index))
  labels.append("%s<br/>(%s)" % (query, queries[x]))

ipyplot.plot_images(images, labels, img_width=425, force_b64=True)

参考

https://dev.to/neuml/tutorial-series-on-txtai-ibg