[通过Postgres的Timescale Vector探索AI应用：高效存储与查询]

最新推荐文章于 2024-11-10 11:53:38 发布

qq_37836323

最新推荐文章于 2024-11-10 11:53:38 发布

阅读量329

点赞数 5

文章标签：人工智能 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142766895

版权

引言

随着AI技术的快速发展，处理大规模数据集的需求也在不断增长。尤其是在存储和查询矢量嵌入（vector embeddings）时，效率和准确性变得尤为重要。本文将介绍Timescale Vector，这是一种基于PostgreSQL++的工具，专为AI应用而设计。我们将探讨如何高效地存储和查询数十亿条矢量嵌入，并演示如何使用它进行自查询。

主要内容

什么是Timescale Vector？

Timescale Vector是为AI应用设计的PostgreSQL++，它在以下几个方面优化了矢量存储：

提供pgvector增强功能，通过DiskANN启发的索引算法实现对十亿级矢量的更快、更准确的相似性搜索。
通过自动基于时间的分区和索引，实现快速的时间序列矢量搜索。
提供了一个熟悉的SQL接口来查询矢量嵌入和关系数据。

Timescale Vector还简化了操作，使开发者能够在单一数据库中存储关系元数据、矢量嵌入和时间序列数据。

如何访问Timescale Vector

Timescale Vector在Timescale云PostgreSQL平台上使用。目前没有自托管版本。LangChain用户可以享受90天的免费试用。

代码示例

以下示例展示了如何创建一个Timescale Vector矢量存储并进行自查询：

# 使用API代理服务提高访问稳定性
import os
from dotenv import find_dotenv, load_dotenv
from langchain_community.vectorstores.timescalevector import TimescaleVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 环境变量加载
_ = load_dotenv(find_dotenv())
OPENAI_API_KEY = os.environ["OPENAI_API_KEY"]
TIMESCALE_SERVICE_URL = os.environ["TIMESCALE_SERVICE_URL"]

embeddings = OpenAIEmbeddings()

# 示例文档
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

COLLECTION_NAME = "langchain_self_query_demo"
vectorstore = TimescaleVector.from_documents(
    embedding=embeddings,
    documents=docs,
    collection_name=COLLECTION_NAME,
    service_url=TIMESCALE_SERVICE_URL,
)

# 自查询检索器设置
metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多元数据字段...
]

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True
)

# 执行检索
result = retriever.invoke("What are some movies about dinosaurs")
print(result)