探索Hologres与Proxima的高性能向量搜索功能

最新推荐文章于 2024-09-23 14:24:34 发布

aehrutktrjk

最新推荐文章于 2024-09-23 14:24:34 发布

阅读量324

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142410141

版权

引言

在现代数据密集型应用中，实时处理和分析大规模数据变得至关重要。阿里云开发的Hologres服务提供了统一的实时数据仓储功能，兼具高并发和低延迟。通过与Proxima的深度集成，Hologres还能够支持高性能的向量搜索，适用于文本和图像的相似性检索。

本文将详细介绍如何使用Hologres的向量数据库功能，并提供相关代码示例，帮助开发者更好地利用这一强大工具。

主要内容

1. Hologres概述

Hologres是阿里云推出的一项强大的实时数据仓储服务，兼容PostgreSQL，支持标准SQL语法。Hologres能够对海量数据进行在线分析处理（OLAP），尤其擅长处理高并发和低延迟的数据服务请求。

2. Proxima简介

Proxima是由阿里巴巴达摩院开发的高性能软件库，专注于高效、稳定的向量相似性搜索。通过Proxima，开发者可以实现高吞吐量、低延迟的文本或图像嵌入向量检索。

3. Hologres与Proxima集成

Hologres与Proxima的集成使得用户能够在Hologres中使用向量搜索功能，这为大规模数据分析引入了强大的相似性检索能力。

代码示例

以下示例演示如何将文档嵌入存储到Hologres，并执行相似性搜索。

# 安装必要的库
%pip install --upgrade --quiet langchain_community hologres-vector

from langchain_community.vectorstores import Hologres
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader
import os

# 加载文档并进行拆分
loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 获取文档嵌入
embeddings = OpenAIEmbeddings()

# 设置环境变量并连接Hologres
os.environ["PG_HOST"] = "localhost"
os.environ["PG_PORT"] = "80"
os.environ["PG_DATABASE"] = "postgres"
os.environ["PG_USER"] = "postgres"
os.environ["PG_PASSWORD"] = "postgres"

connection_string = Hologres.connection_string_from_db_params(
    host=os.environ["PG_HOST"],
    port=int(os.environ["PG_PORT"]),
    database=os.environ["PG_DATABASE"],
    user=os.environ["PG_USER"],
    password=os.environ["PG_PASSWORD"],
)

# 存储嵌入到Hologres
vector_db = Hologres.from_documents(
    docs,
    embeddings,
    connection_string=connection_string,
    table_name="langchain_example_embeddings",
)

# 查询相似性搜索
query = "What did the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query)

print(docs[0].page_content)