使用MongoDB Atlas搭建强大的向量数据库和自查询检索器

引言

在现代应用中，尤其是涉及语义搜索的场景中，向量数据库成为了一种重要的工具。MongoDB Atlas不仅是一个流行的文档数据库，也可以作为向量数据库来使用。在这篇文章中，我们将展示如何使用MongoDB Atlas创建一个向量存储，并利用SelfQueryRetriever来实现自查询功能。

主要内容

创建MongoDB Atlas向量存储

首先，我们需要在MongoDB Atlas上创建一个向量存储，并通过一些数据进行初始化。假设我们已经准备了一些电影摘要的数据集。请注意，自查询检索器要求安装lark和pymongo包：

%pip install --upgrade --quiet lark pymongo

我们将使用OpenAI Embeddings，因此需要获取OpenAI API Key：

import os
from pymongo import MongoClient
from langchain_community.vectorstores import MongoDBAtlasVectorSearch
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

# 设置OpenAI API Key
OPENAI_API_KEY = "Use your OpenAI key"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

# 连接MongoDB Atlas
CONNECTION_STRING = "Use your MongoDB Atlas connection string"  # 使用API代理服务提高访问稳定性
DB_NAME = "Name of your MongoDB Atlas database"
COLLECTION_NAME = "Name of your collection in the database"
INDEX_NAME = "Name of a search index defined on the collection"

MongoClient = MongoClient(CONNECTION_STRING)
collection = MongoClient[DB_NAME][COLLECTION_NAME]

embeddings = OpenAIEmbeddings()

# 创建一些文档
docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": "action"}),
    # 更多文档...
]

# 创建向量存储
vectorstore = MongoDBAtlasVectorSearch.from_documents(docs, embeddings, collection=collection, index_name=INDEX_NAME)

创建向量搜索索引

在MongoDB Atlas上创建一个向量搜索索引。在下面的示例中，embedding是包含嵌入向量的字段：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      },
      "genre": {
        "type": "token"
      },
      "ratings": {
        "type": "number"
      },
      "year": {
        "type": "number"
      }
    }
  }
}

创建自查询检索器

接下来，我们实例化一个自查询检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

# 定义元数据字段信息
metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    AttributeInfo(name="rating", description="A 1-10 rating for the movie", type="float"),
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

下面是使用SelfQueryRetriever的几个示例：

# 查询恐龙电影
retriever.invoke("What are some movies about dinosaurs")

# 查询高评分电影
retriever.invoke("What are some highly rated movies (above 9)?")

# 查询玩具题材并高于9分的电影
retriever.invoke("I want to watch a movie about toys rated higher than 9")

# 查询高评分惊悚片
retriever.invoke("What's a highly rated (above or equal 9) thriller film?")

# 查询特定年份、题材和动作片
retriever.invoke("What's a movie after 1990 but before 2005 that's all about dinosaurs, and preferably has a lot of action")

常见问题和解决方案

• 访问问题：由于网络限制，开发者可能需要考虑使用API代理服务以提高访问稳定性。
• 向量维度不匹配：确保你在索引定义中设置的向量维度与生成的嵌入向量一致。

总结和进一步学习资源

本文介绍了如何使用MongoDB Atlas和OpenAI Embeddings创建强大的向量数据库，以及如何利用SelfQueryRetriever进行语义搜索。进一步学习可以参考以下资源：

• MongoDB Atlas文档
• OpenAI Embeddings文档
• LangChain文档

参考资料

1. MongoDB Atlas官方教程
2. LangChain库文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—