探索 MongoDB Atlas：如何将其用作矢量数据库

引言

MongoDB Atlas 是一种功能强大的文档数据库，近年来也被用作矢量数据库。本文将通过创建一个 MongoDB Atlas 矢量存储，演示如何使用 SelfQueryRetriever 来实现高效的查询和数据检索。

主要内容

创建 MongoDB Atlas 矢量存储

首先，我们需要创建一个 MongoDB Atlas 矢量存储并用数据进行初始化。在本文中，我们将使用一组包含电影摘要的文档。

准备工作

在开始之前，请确保已安装 lark 和 pymongo。可以使用以下命令安装：

pip install --upgrade --quiet lark pymongo

此外，我们需要使用 OpenAIEmbeddings，因此需要获取 OpenAI API Key。

连接到 MongoDB Atlas

连接到 MongoDB Atlas 数据库，并准备好所需的库：

import os
from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from pymongo import MongoClient

# 使用API代理服务提高访问稳定性
CONNECTION_STRING = "Use your MongoDB Atlas connection string"
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"

MongoClient = MongoClient(CONNECTION_STRING)
collection = MongoClient[DB_NAME][COLLECTION_NAME]

embeddings = OpenAIEmbeddings()

初始化文档

创建一些用于初始化数据库的文档：

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 更多文档...
]

创建向量存储

使用 MongoDBAtlasVectorSearch 创建向量存储：

vectorstore = MongoDBAtlasVectorSearch.from_documents(
    docs,
    embeddings,
    collection=collection,
    index_name=INDEX_NAME,
)

创建查询索引

在 MongoDB Atlas 集群上创建一个矢量搜索索引。在 Atlas 的 JSON 编辑器中编写以下定义：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "rating": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

创建自查询检索器

实例化自查询检索器，需要提供文档元数据字段的信息：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    # 更多字段信息...
]

document_content_description = "Brief summary of a movie"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索器

通过不同的示例查询和过滤器测试检索器：

retriever.invoke("What are some movies about dinosaurs")
retriever.invoke("What are some highly rated movies (above 9)?")

常见问题和解决方案

• API 访问问题：由于某些地区的网络限制，开发者可能需要考虑使用 API 代理服务来提高访问的稳定性。
• 性能优化：在定义索引时，确保使用合适的字段类型和相似性度量以提高查询效率。

总结和进一步学习资源

MongoDB Atlas 作为矢量数据库具有强大的功能，结合 OpenAIEmbeddings，可以实现高效的数据查询和检索。希望本文所提供的示例和解释能帮助你更好地使用这些工具。

进一步学习资源：

• MongoDB Atlas 文档
• LangChain 文档
• OpenAI API文档

参考资料

• MongoDB 官方文档
• OpenAI API 使用指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—