使用Amazon Textract和LangChain自动提取文档文本的实用指南

最新推荐文章于 2024-11-03 11:01:20 发布

qq_37836323

最新推荐文章于 2024-11-03 11:01:20 发布

阅读量274

点赞数 4

文章标签： langchain java 数据库

本文链接：https://blog.csdn.net/qq_29929123/article/details/142361471

版权

引言

在现代企业操作中，自动化提取文档信息是一项关键任务。Amazon Textract作为一种机器学习服务，能够自动提取扫描文档中的文本、手写和数据信息，而无需人工干预。本文旨在演示如何结合Amazon Textract和LangChain在不同场景中实现文档加载自动化。

主要内容

什么是Amazon Textract？

Amazon Textract不仅仅是光学字符识别（OCR）。它利用机器学习在不需要人工配置或更新的情况下，自动识别和提取表单和表格中的数据。它支持多种文档格式，包括PDF、TIFF、PNG和JPEG。

LangChain中的文档加载

LangChain是一个强大的工具，允许我们使用不同的加载器来处理和解析文档。本文将重点讨论如何利用Amazon Textract PDF Loader加载和处理文档。

代码示例

示例1：加载本地文件

首先，我们展示如何从本地文件加载文档。下面的示例使用Amazon Textract的同步API DetectDocumentText，适用于单页文档。

from langchain_community.document_loaders import AmazonTextractPDFLoader

loader = AmazonTextractPDFLoader("example_data/alejandro_rosalez_sample-small.jpeg")
documents = loader.load()
print(documents)

示例2：从HTTPS端点加载文件

对于多页文档，必须将文件存储在S3上。此示例展示如何从HTTPS端点加载单页文档。

from langchain_community.document_loaders import AmazonTextractPDFLoader

loader = AmazonTextractPDFLoader(
    "https://amazon-textract-public-content.s3.us-east-2.amazonaws.com/langchain/alejandro_rosalez_sample_1.jpg"
)
documents = loader.load()
print(documents)

示例3：处理多页文档

处理多页文档时，需要在S3中存储文件并在相应的区域调用Textract。

import boto3
from langchain_community.document_loaders import AmazonTextractPDFLoader

textract_client = boto3.client("textract", region_name="us-east-2")
file_path = "s3://amazon-textract-public-content/langchain/layout-parser-paper.pdf"
loader = AmazonTextractPDFLoader(file_path, client=textract_client)
documents = loader.load()

print(len(documents))  # 预期输出：16

示例4：文本线性化配置

可以通过传递参数 linearization_config 来配置文本输出的线性化方式。

from langchain_community.document_loaders import AmazonTextractPDFLoader
from textractor.data.text_linearization_config import TextLinearizationConfig

loader = AmazonTextractPDFLoader(
    "s3://amazon-textract-public-content/langchain/layout-parser-paper.pdf",
    linearization_config=TextLinearizationConfig(
        hide_header_layout=True,
        hide_footer_layout=True,
        hide_figure_layout=True,
    ),
)
documents = loader.load()