容器中的大模型（三）| 利用大语言模型：容器化高效地部署 PDF 解析器实践...

作者：宋文欣，智领云科技联合创始人兼CTO

01 简介

大语言模型（LLMs）正逐渐成为人工智能领域的一颗璀璨明星，它们的强大之处在于能够理解和生成自然语言，为各种应用提供了无限可能。为了让这些模型更好地服务于实际业务场景，我们引入了检索增强生成（RAG）技术。RAG 技术将各种文档类型转换成 LLMs 易于解读的格式，通过结合检索和生成的方式，极大地提升了模型处理复杂任务的能力，尤其是在处理需要广泛知识和理解的长文本时表现得尤为出色。

PDF 文档作为信息传递的重要载体，其内容的抽取和理解对于实现高质量的 RAG 输出至关重要。要充分发挥RAG技术的潜力，我们需要解决一个关键问题：如何高效地解析和提取PDF文档中的信息。PDF 的文档格式使用广泛，结构复杂且多样，给自动化解析带来了不小的挑战。随着技术的进步，我们有了多种工具来应对这一挑战。本文将带你了解如何在 Docker 容器中运行三个业界领先的PDF解析器：LLMSherpa、Unstructured和LlamaParse。

本文将演示如何在容器化环境中快速部署和使用，完成从环境搭建到PDF解析器选择的全过程：

• LLMSherpa[1]

• Unstructured[2]

• LlamaParse[3]

本文还对关键的技术要点和实践经验进行总结，通过本文的阅读，将对 RAG 技术在 LLMs 中的应用有一个全面的认识，无论是 LLMSherpa 的高效性，Unstructured 的灵活性，还是 LlamaParse 的稳定性，我们都将为您提供全面的比较和深入的分析，帮助选择最适合需求的 PDF 解析器。

02 技术背景

LLMSherpa

LLMSherpa 提供了一个免费的 API 服务器，用于解析各种类型的 PDF文件，同时还支持在私有服务器上托管，确保数据的安全性和隐私性。LayoutPDFReader（基于规则的解析器），作为 LLMSherpa 的核心组件之一，使用来自修改版的 Tika 的文本坐标（边界框）、图形和字体数据，以极高的精度解析 PDF 文件中的文本和布局。

在本次演示中，我们将展示如何在 Docker 容器中运行一个自托管的 LLMSherpa API 服务器，在自己的环境中轻松处理 PDF 文件。

Unstructured

Unstructured 是 unstructured.io 提供的开源库，用于摄取和预处理包括 PDF、HTML、Word 文档等格式在内的图像和文本文档，极大地简化了从文档中提取有价值信息的过程。Unstructured 还提供了一个免费的 API 服务，允许用户免费处理高达 1000 页的文档。

本文演示中，我们将重点关注如何独立使用 Unstructured 的开源库进行文档处理，而不依赖其 API 服务。用户可以在自己的服务器上部署和使用这个强大的库，享受数据处理的灵活性和自主性。

LlamaParse