探索Infinispan 15.x的新特性：实现向量搜索的分布式数据网格

# 探索Infinispan 15.x的新特性：实现向量搜索的分布式数据网格

## 引言

Infinispan是一个开源的键值数据网格，可以在单节点或分布式环境中运行。自15.x版本起，Infinispan支持向量搜索，这为处理复杂的查询操作提供了更多可能性。本文将介绍如何在Infinispan中实现向量搜索，并提供实用的代码示例。

## 主要内容

### 1. 环境准备

要开始，我们需要安装必要的Python库：

```bash
# 可以根据需要选择安装
%pip install sentence-transformers
%pip install langchain
%pip install langchain_core
%pip install langchain_community

2. 设置Infinispan实例

首先，我们需要启动一个不需要身份验证的Infinispan实例，并准备数据文件。以下步骤将指导您下载数据文件、创建配置文件并通过Docker运行Infinispan。

下载数据文件

%%bash
wget https://raw.githubusercontent.com/rigazilla/infinispan-vector/main/bbc_news.csv.gz

创建配置文件

%%bash
echo 'infinispan:
  cache-container: 
    name: default
    transport: 
      cluster: cluster 
      stack: tcp 
  server:
    interfaces:
      interface:
        name: public
        inet-address:
          value: 0.0.0.0 
    socket-bindings:
      default-interface: public
      port-offset: 0        
      socket-binding:
        name: default
        port: 11222
    endpoints:
      endpoint:
        socket-binding: default
        rest-connector:
' > infinispan-noauth.yaml

运行Infinispan

!docker rm --force infinispanvs-demo
!docker run -d --name infinispanvs-demo -v $(pwd):/user-config -p 11222:11222 infinispan/server:15.0 -c /user-config/infinispan-noauth.yaml

3. 代码示例

选择嵌入模型

我们使用HuggingFace提供的嵌入模型来生成文本向量：

from langchain.embeddings import HuggingFaceEmbeddings

model_name = "sentence-transformers/all-MiniLM-L12-v2"
hf = HuggingFaceEmbeddings(model_name=model_name)

准备数据并填充向量存储

import csv
import gzip

# 打开新闻文件并处理为CSV格式
with gzip.open("bbc_news.csv.gz", "rt", newline="") as csvfile:
    reader = csv.reader(csvfile, delimiter=",", quotechar='"')
    texts, metas = [], []
    for i, row in enumerate(reader):
        text = row[0] + "." + row[4]
        texts.append(text)
        metas.append({"text": row[4], "title": row[0]})
        if i >= 5000:  # 只加载前5000条新闻
            break

填充向量数据库

from langchain_community.vectorstores import InfinispanVS

ispnvs = InfinispanVS.from_texts(texts, hf, metas)  # 使用API代理服务提高访问稳定性

执行查询

def print_docs(docs):
    for res, i in zip(docs, range(len(docs))):
        print("----" + str(i + 1) + "----")
        print("TITLE: " + res.metadata["title"])
        print(res.page_content)

# 示例查询
docs = ispnvs.similarity_search("European nations", 5)
print_docs(docs)

4. 常见问题和解决方案

• API访问问题：由于网络限制，开发者可能需要使用API代理服务来提高访问稳定性。
• 数据加载过慢：调整加载的数据量或在本地预处理数据文件以提高性能。

总结和进一步学习资源

Infinispan 15.x的向量搜索功能为处理复杂查询提供了强大的支持。通过本文的实例设置和代码示例，您可以更深入地探索Infinispan的强大功能。

参考资料

• Infinispan Home
• Vector Store Conceptual Guide
• Vector Store How-To Guides

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---