探索Google Cloud的Document AI：将文档转化为结构化数据的高效工具

aehrutktrjk

于 2024-10-02 02:30:32 发布

阅读量174

点赞数 1

文章标签：人工智能 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142677102

版权

引言

随着越来越多的企业数字化转型，处理大量非结构化数据成为一种挑战。Google Cloud的Document AI提供了一种解决方案，将文档转化为结构化数据，便于分析和使用。本文将深入探讨如何使用Document AI来解析PDF文件，并提供相关代码示例。

主要内容

1. 配置Document AI环境

首先，您需要设置Google Cloud Storage (GCS)的存储桶，并创建自己的光学字符识别（OCR）处理器。详细步骤可以参考官方文档。

环境变量设置

GCS_OUTPUT_PATH = "gs://BUCKET_NAME/FOLDER_PATH"  # GCS路径，确保已配置
PROCESSOR_NAME = "projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID"  # 处理器名称

2. 安装必要的库

您需要安装langchain-google-community库，以便使用Document AI的Python接口。

%pip install --upgrade --quiet langchain-google-community[docai]

3. 使用DocAI解析PDF

导入必要的模块，并创建DocAIParser实例：

from langchain_core.document_loaders.blob_loaders import Blob
from langchain_google_community import DocAIParser

parser = DocAIParser(
    location="us", 
    processor_name=PROCESSOR_NAME, 
    gcs_output_path=GCS_OUTPUT_PATH
)

代码示例

以下是完整的代码示例，展示了如何使用Document AI解析PDF文件：

# 创建Blob实例，指向PDF文件路径
blob = Blob(
    path="gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2022Q1_alphabet_earnings_release.pdf"
)

# 使用解析器执行惰性解析
docs = list(parser.lazy_parse(blob))
print(len(docs))  # 输出文档页数

# 执行批处理解析
operations = parser.docai_parse([blob])
print([op.operation.name for op in operations])

# 检查操作是否完成
while parser.is_running(operations):
    pass

# 获得解析结果
results = parser.get_results(operations)
print(results[0])

# 从结果中生成文档
docs = list(parser.parse_from_results(results))
print(len(docs))  # 输出文档页数