Marker 开源项目使用教程

Marker 开源项目使用教程

markerConvert PDF to markdown quickly with high accuracy项目地址:https://gitcode.com/gh_mirrors/ma/marker

项目介绍

Marker 是一个基于深度学习的文档处理工具，旨在从 PDF 文件中提取文本、表格和代码块，并将其转换为 Markdown 格式。它支持 OCR 处理，能够在 GPU、CPU 或 MPS 上运行，适用于多种文档类型。Marker 的核心功能包括文本提取、布局检测、格式清理和后处理，通过一系列深度学习模型实现高效准确的文档处理。

项目快速启动

安装

首先，克隆项目仓库并安装所需的依赖：

git clone https://github.com/VikParuchuri/marker.git
cd marker
poetry install

配置

在 marker/settings.py 文件中进行必要的配置。可以通过环境变量覆盖默认设置。例如，如果使用 GPU，可以设置 TORCH_DEVICE=cuda 和 INFERENCE_RAM 为 GPU 的 VRAM 大小。

运行

下载基准测试数据并解压，然后运行基准测试脚本：

python benchmark.py data/pdfs data/references report.json --nougat

应用案例和最佳实践

案例一：学术论文处理

Marker 可以用于处理学术论文，提取其中的文本、表格和公式，并转换为 Markdown 格式，便于进一步编辑和分享。

案例二：技术文档转换

对于技术文档，Marker 能够准确提取代码块和表格，保持文档结构的完整性，适用于技术博客和开发文档的自动化处理。

最佳实践

• 优化配置：根据文档类型和硬件资源调整配置，以达到最佳性能。
• 批量处理：利用批量处理功能，提高处理效率。
• 错误处理：在处理过程中加入错误处理机制，确保处理流程的稳定性。

典型生态项目

Surya

Surya 是一个用于页面布局检测的深度学习模型，Marker 使用 Surya 来识别文档中的阅读顺序和布局结构。

Texify

Texify 是一个文本格式清理工具，Marker 利用 Texify 对提取的文本进行格式化和清理，确保输出的 Markdown 文档质量。

Nougat

Nougat 是一个 OCR 处理工具，Marker 在需要时使用 Nougat 进行文本识别，提高文档处理的准确性。

通过结合这些生态项目，Marker 能够提供一个完整的文档处理解决方案，适用于多种应用场景。

markerConvert PDF to markdown quickly with high accuracy项目地址:https://gitcode.com/gh_mirrors/ma/marker