[深入探索Infinispan: 实现向量搜索的开源数据网格]

最新推荐文章于 2024-09-30 21:24:06 发布

llzwxh888

最新推荐文章于 2024-09-30 21:24:06 发布

阅读量316

点赞数 4

文章标签：开源 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142410175

版权

引言

Infinispan是一种开源的键值数据网格，可以在单节点或分布式环境中运行。在15.x版本中，Infinispan新增了向量搜索的支持功能。这篇文章将介绍如何使用Infinispan实现向量搜索，包括设置、数据准备和搜索查询。

主要内容

Infinispan设置

为了运行这个演示，我们需要一个在Docker中运行的Infinispan实例以及相关的数据文件。

下载数据文件

首先，我们需要下载一个包含BBC新闻的压缩数据文件：

%%bash
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

创建Infinispan配置文件

接下来，创建一个Infinispan的配置文件，以便在Docker中运行：

%%bash
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

运行Infinispan Docker容器

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

选择嵌入模型

在这个演示中，我们使用Hugging Face的嵌入模型：

from langchain.embeddings import HuggingFaceEmbeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

数据准备

处理并准备新闻数据以填充向量存储：

import csv
import gzip

# 打开新闻文件并处理为CSV格式
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    spamreader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts = []
    metas = []
    for i, row in enumerate(spamreader):
        text = row[0] + "." + row[4]
        texts.append(text)
        meta = {"text": row[4], "title": row[0]}
        metas.append(meta)
        if i >= 5000:  # 加载前5000条新闻
            break

填充向量存储

使用Langchain库将文本加载到Infinispan向量存储中：

from langchain_community.vectorstores import InfinispanVS

ispnvs = InfinispanVS.from_texts(texts, hf, metas)

代码示例

以下代码展示了如何进行相似度搜索：

def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 示例查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

print_docs(ispnvs.similarity_search("Milan fashion week begins", 2))