使用MongoDB Atlas进行向量检索的指南

最新推荐文章于 2024-09-10 11:23:07 发布

llzwxh888

最新推荐文章于 2024-09-10 11:23:07 发布

阅读量398

点赞数 4

文章标签： mongodb 线性代数数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/140342701

版权

在这篇文章中，我们将介绍如何使用MongoDB Atlas与LlamaIndex结合进行向量检索。MongoDB Atlas 是一个托管的NoSQL数据库服务，而LlamaIndex是一个强大的向量检索引擎。结合两者，我们可以高效地进行大规模数据的检索。

安装依赖

首先，我们需要安装所需的Python包，包括llama-index和pymongo。

%pip install llama-index-vector-stores-mongodb
!pip install llama-index

数据准备

接下来，我们需要下载示例数据。这一步骤会下载一份Uber 2021年的财报PDF文件。

!mkdir -p 'data/10k/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/10k/uber_2021.pdf' -O 'data/10k/uber_2021.pdf'

代码示例

以下是使用MongoDB Atlas进行向量检索的完整代码示例。请确保替换mongo_uri中的和为你的实际MongoDB Atlas用户名和密码。

import pymongo
from llama_index.vector_stores.mongodb import MongoDBAtlasVectorSearch
from llama_index.core import VectorStoreIndex, StorageContext
from llama_index.core import SimpleDirectoryReader

# MongoDB Atlas连接URI，替换<username>和<password>
mongo_uri = (
    "mongodb+srv://<username>:<password>@<host>?retryWrites=true&w=majority"
)
mongodb_client = pymongo.MongoClient(mongo_uri)
store = MongoDBAtlasVectorSearch(mongodb_client)
storage_context = StorageContext.from_defaults(vector_store=store)

# 加载数据
uber_docs = SimpleDirectoryReader(
    input_files=["./data/10k/uber_2021.pdf"]
).load_data()

# 创建向量存储索引
index = VectorStoreIndex.from_documents(
    uber_docs, storage_context=storage_context
)

# 进行查询
response = index.as_query_engine().query("What was Uber's revenue?")
print(f"Uber's revenue for 2021 was: {response}")

# 打印存储的文档数量
print(store._collection.count_documents({})) # 输出存储的文档数量

# 获取文档ID并进行删除操作
from llama_index.core import Response
typed_response = (
    response if isinstance(response, Response) else response.get_response()
)
ref_doc_id = typed_response.source_nodes[0].node.ref_doc_id
print(store._collection.count_documents({"metadata.ref_doc_id": ref_doc_id}))

# 删除文档并验证删除
if ref_doc_id:
    store.delete(ref_doc_id)
    print(store._collection.count_documents({}))