[深入了解UnstructuredLoader：解析多种文档格式的利器]

llzwxh888

于 2024-09-30 23:04:38 发布

阅读量130

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142665175

版权

引言

在现代数据处理中，将不同格式的文件加载为结构化数据是一项常见的需求。UnstructuredLoader 是一个强大的工具，支持解析多种文件格式，如文本、PPT、HTML、PDF 等。这篇文章将介绍如何使用 UnstructuredLoader，通过代码示例展示其强大功能，并讨论一些常见问题及其解决方案。

主要内容

1. 概述

UnstructuredLoader 是来自 langchain_community 的一个类，允许从多种文件类型中加载数据。它支持延迟加载和异步操作，非常适合处理复杂的文档解析任务。

2. 设置和安装

安装

首先，安装所需的 Python 包。如果选择使用 API 进行分区，只需以下命令：

%pip install --upgrade --quiet langchain-unstructured unstructured-client unstructured "unstructured[pdf]" python-magic

如果希望在本地运行分区逻辑，需安装一些系统依赖（以 MacOS 为例）：

brew install libmagic poppler tesseract
brew install libxml2 libxslt  # 用于解析 XML / HTML 文档

然后，安装 Python 包：

pip install "langchain-unstructured[local]"

API 凭证

使用 Unstructured API 时需要 API 密钥，可以通过以下代码设置：

import getpass
import os

os.environ["UNSTRUCTURED_API_KEY"] = getpass.getpass("Enter your Unstructured API key: ")

3. 初始化和加载

以下是使用 UnstructuredLoader 读取文本和 PDF 文件的示例：

from langchain_unstructured import UnstructuredLoader

file_paths = [
    "./example_data/layout-parser-paper.pdf",
    "./example_data/state_of_the_union.txt",
]

loader = UnstructuredLoader(file_paths)
docs = loader.load()

print(docs[0].metadata)

4. 使用 API

通过 API 加载文档，并启用 API 代理服务提高访问稳定性：

from langchain_unstructured import UnstructuredLoader

loader = UnstructuredLoader(
    file_path="example_data/fake.docx",
    api_key=os.getenv("UNSTRUCTURED_API_KEY"),
    partition_via_api=True,
    # 使用API代理服务提高访问稳定性
)

docs = loader.load()
print(docs[0].metadata["filename"])