[1308]pdf转markdown

于 2024-09-28 09:00:00 发布
阅读量262 收藏 10
点赞数 11
分类专栏： Python前行者 文章标签： pdf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xc_zhou/article/details/142595259
版权

文章目录

六个开源的PDF转Markdown项目

✨ 1: gptpdf

gptpdf 是一个利用VLLM解析PDF为Markdown的工具，几乎完美支持数学公式、表格等。

GPTPDF 是一个使用视觉大模型（如 GPT-4o）将 PDF 文件解析成 Markdown 文件的工具。它主要用于高效地解析 PDF 文档中的排版、数学公式、表格、图片、图表等内容，并将这些内容转换为结构化的 Markdown 格式。其显著特点是简单且成本低，每页平均费用为 $0.013。

地址：https://github.com/CosmosShadow/gptpdf

✨ 2: marker

Marker是一款将PDF快速精准转换为Markdown的工具，支持多种文档格式和语言。

Marker是一款能够快速且准确地将PDF转换为Markdown的工具。它支持多种类型的文档（针对书籍和科学论文进行了优化），支持所有语言，并且能够去除页眉、页脚及其他杂乱信息。此外，它还能正确格式化表格和代码块，并提取图像保存为Markdown。同时，Marker将大多数的公式转换为LaTeX格式，适用于GPU、CPU或MPS环境。

地址：https://github.com/vikparuchuri/marker
https://gitcode.com/gh_mirrors/ma/marker/overview

marker的原理是利于深度学习模型，检测页面布局，阅读顺序，然后格式化文本块并且对完整的文本再进行处理。这里说一下 marker 的特点：

  • 该工具支持广泛的文档类型，特别针对书籍和科学论文进行了优化，对于复杂的公式提供了更好的支持。同时，它支持多种语言的转换，确保在全球范围内的用户都能够轻松使用
  • 可以删除页眉、页脚以及其他页面元素。
  • 能够格式化表格和代码块，保持排版整齐。
  • 可以提取并保存 PDF 中的图像。
  • 支持 GPU、CPU 或者 MPS（多处理器系统）进行转换，以满足不同硬件环境下的需求。

这里说来说一下 marker 的安装方法
安装 Python，需要注意的需要安装的 Python 版本必须大于等于 3.9
安装 Pytorch
首先，访问 PyTorch官网 查找适合你的操作系统、Python版本和硬件支持（如GPU、CUDA）的安装命令。

例如，如果你在Linux系统上使用CUDA 10.2，安装命令如下：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu102)

如果你的系统没有CUDA支持或不打算使用GPU加速，则可以安装CPU版本：

pip install torch torchvision torchaudio

然后**安装 marker **，执行命令 pip install marker-pdf

单独转换文件示例
marker_single --input /path/to/file.pdf --output /path/to/output/folder --batch_multiplier 2 --max_pages 10 --langs English
  • --batch_multiplier用于根据GPU内存大小放大默认批量尺寸，数值越大意味着更多内存被占用，但同时也会加速处理过程，默认值为2倍；标准批量尺寸大约占据3GB的GPU内存。
  • --max_pages定义了最大转换页数。如省略此项，则整个文档都会被转换。
  • --langs是以逗号隔开的语言列表，指明文档中所含的语言信息以便于OCR识别。

确认DEFAULT_LANG设置与您的文档相符。OCR支持的语言清单位于surya，如有额外需求，可通过Tesseract支持的任一语言来补充，只要OCR_ENGINE设为ocrmypdf即可。若根本不需进行OCR识别，标记器就能适用于任何语言的文档。

  • --input：指定要转换的PDF文件路径。
  • --output：指定转换后的Markdown文件存储路径。
  • --language：设置文档语言，如果处理的是非英文文档，可以指定语言代码（如zh表示中文）。
  • --gpu：如果安装了CUDA并希望利用GPU加速，可以加上--gpu选项。
  • --no-images：如果不希望提取PDF中的图片，可以添加这个参数来避免生成额外的图片文件。
CODE_TO_LANGUAGE = {
    "_math": "Math",
    'af': 'Afrikaans',
    'am': 'Amharic',
    'ar': 'Arabic',
    'as': 'Assamese',
    'az': 'Azerbaijani',
    'be': 'Belarusian',
    'bg': 'Bulgarian',
    'bn': 'Bengali',
    'br': 'Breton',
    'bs': 'Bosnian',
    'ca': 'Catalan',
    'cs': 'Czech',
    'cy': 'Welsh',
    'da': 'Danish',
    'de': 'German',
    'el': 'Greek',
    'en': 'English',
    'eo': 'Esperanto',
    'es': 'Spanish',
    'et': 'Estonian',
    'eu': 'Basque',
    'fa': 'Persian',
    'fi': 'Finnish',
    'fr': 'French',
    'fy': 'Western Frisian',
    'ga': 'Irish',
    'gd': 'Scottish Gaelic',
    'gl': 'Galician',
    'gu': 'Gujarati',
    'ha': 'Hausa',
    'he': 'Hebrew',
    'hi': 'Hindi',
    'hr': 'Croatian',
    'hu': 'Hungarian',
    'hy': 'Armenian',
    'id': 'Indonesian',
    'is': 'Icelandic',
    'it': 'Italian',
    'ja': 'Japanese',
    'jv': 'Javanese',
    'ka': 'Georgian',
    'kk': 'Kazakh',
    'km': 'Khmer',
    'kn': 'Kannada',
    'ko': 'Korean',
    'ku': 'Kurdish',
    'ky': 'Kyrgyz',
    'la': 'Latin',
    'lo': 'Lao',
    'lt': 'Lithuanian',
    'lv': 'Latvian',
    'mg': 'Malagasy',
    'mk': 'Macedonian',
    'ml': 'Malayalam',
    'mn': 'Mongolian',
    'mr': 'Marathi',
    'ms': 'Malay',
    'my': 'Burmese',
    'ne': 'Nepali',
    'nl': 'Dutch',
    'no': 'Norwegian',
    'om': 'Oromo',
    'or': 'Oriya',
    'pa': 'Punjabi',
    'pl': 'Polish',
    'ps': 'Pashto',
    'pt': 'Portuguese',
    'ro': 'Romanian',
    'ru': 'Russian',
    'sa': 'Sanskrit',
    'sd': 'Sindhi',
    'si': 'Sinhala',
    'sk': 'Slovak',
    'sl': 'Slovenian',
    'so': 'Somali',
    'sq': 'Albanian',
    'sr': 'Serbian',
    'su': 'Sundanese',
    'sv': 'Swedish',
    'sw': 'Swahili',
    'ta': 'Tamil',
    'te': 'Telugu',
    'th': 'Thai',
    'tl': 'Tagalog',
    'tr': 'Turkish',
    'ug': 'Uyghur',
    'uk': 'Ukrainian',
    'ur': 'Urdu',
    'uz': 'Uzbek',
    'vi': 'Vietnamese',
    'xh': 'Xhosa',
    'yi': 'Yiddish',
    'zh': 'Chinese',
}
转换多个文件
marker /path/to/input/folder /path/to/output/folder --workers 10 --max 10 --metadata_file /path/to/metadata.json --min_length 10000
  • --workers 指定同时转换的PDF文件数量，默认为1，增加此数值可以提升处理速度，但会消耗更多CPU或GPU资源。如果使用GPU，并行度不会超过内存分配允许的最大值(INFERENCE_RAM / VRAM_PER_TASK)。
  • --max 设定要转换的PDF文件最大数量。省略此参数将以转换文件夹内的所有PDF。
  • --min_length 是从PDF中提取字符的最小数量，达到这个限制后PDF才会被考虑处理。处理大量PDF时，推荐设置以避免对主要由图像组成的PDF进行OCR（这会减慢处理速度）。
  • --metadata_file 是一个可选的JSON文件路径，包含有关PDF的元数据。提供它将用来设置每个PDF的语言。否则，将使用默认语言DEFAULT_LANG。格式如下：
{
  "pdf1.pdf": {"languages": ["英语"]},
  "pdf2.pdf": {"languages": ["西班牙语", "俄语"]},
  ...
}

✨ 3: PDF-Extract-Kit

PDF-Extract-Kit 提供高质量PDF内容提取，支持布局检测、公式识别和OCR功能

  • 版面检测：使用 LayoutLMv3 模型进行区域检测，如检测图片、表格、标题、文本等。
  • 公式检测：使用 YOLOv8 模型检测公式，包括行内公式和独立公式。
  • 公式识别：使用 UniMERNet 进行公式识别。
  • 光学字符识别 (OCR)：使用 PaddleOCR 进行文本识别。

地址：https://github.com/opendatalab/PDF-Extract-Kit

✨ 4: zeroX

Zerox OCR 是一种经济高效且准确的文档OCR工具，适用于AI数据处理。

Zerox OCR 是一种极其简便的方法，用于将文档进行光学字符识别（OCR）并方便人工智能进行后续处理。鉴于文档往往包含复杂布局、表格、图表等，视觉模型在处理这些内容时尤其有效。

基本逻辑如下：
提供一个 PDF 文件（URL 或文件缓冲区）。
将 PDF 转换成一系列图像。
将每个图像传给 GPT，让其生成 Markdown 格式的文本。
聚合所有响应，并返回 Markdown 格式的结果。

地址：https://github.com/getomni-ai/zeroX

✨ 5: omniparse

OmniParse是一个将各种非结构化数据转换为结构化、适用于生成式AI（LLM）应用的平台。

OmniParse 是一个数据解析平台，旨在将各种非结构化数据转换为适用于生成式AI（GenAI）应用的结构化数据。无论是文档、表格、图像、视频、音频文件，还是网页，OmniParse 都能对其进行处理，使其变得干净、结构化，并为诸如 RAG（Retrieval-Augmented Generation）和细调等AI应用做好准备。

  • 完全本地化，无需外部API
  • 支持多达 20 种文件类型
  • 将文档、多媒体和网页转换为高质量的结构化 Markdown
  • 支持表格提取、图像提取与标注、音频/视频转录、网页爬取
  • 通过 Docker 和 Skypilot 轻松部署
  • 兼容 Colab
  • 交互式 UI 由 Gradio 提供支持

地址：https://github.com/adithya-s-k/omniparse

✨ 6: MinerU

MinerU 是一个开源的高质量数据提取工具，支持多种文件格式

MinerU 是一个一站式、开源的高质量数据提取工具，主要包括以下两个核心功能模块：

Magic-PDF

  • 功能介绍：Magic-PDF 能将 PDF 文档转换为 Markdown 格式，可以处理本地存储或支持 S3 协议的对象存储中的文件。
  • 主要特色：
    • 支持多种前端模型输入
    • 自动去除页眉、页脚、脚注和页码
    • 保留文档原有的结构和格式，包括标题、段落、列表等
    • 提取并显示图片和表格
    • 将公式转换为 LaTeX 格式
    • 自动检测和转换乱码 PDF 文档
    • 兼容 CPU 和 GPU 环境
    • 可在 Windows、Linux 和 macOS 平台上使用

Magic-Doc

  • 功能介绍：Magic-Doc 能将网页或多格式电子书转换为 Markdown 格式。
  • 主要特色：
    • 网页提取：跨模态精确解析文本、图片、表格和公式信息
    • 电子书文档提取：支持包括 epub、mobi 在内的多种文档格式，完美适配文本和图片
    • 语言类型识别：精确识别176种语言

地址：https://github.com/opendatalab/MinerU

更多AI工具，参考国内AiBard123，Github-AiBard123 公众号：每日AI新工具

参考：https://blog.csdn.net/weixin_40425640/article/details/140765933
https://cloud.tencent.com/developer/news/1472013
https://zhuanlan.zhihu.com/p/712512565
https://post.smzdm.com/p/a2xzn3z2/

TextIn在线api转换：https://www.textin.com/document/pdf_to_markdown
https://www.textin.com/console/recognition/robot_markdown?service=pdf_to_markdown

目前一路用下来，开源的方案用来做原型验证还不错，但要达到生产标准总是差一截。marker也试了，paddle也试了，最后还是转向了闭源付费api。省心多了。国内的textin，国外的google document ai，都还挺top的

周小董
关注
专栏目录
pdf到markdown：PDF到Markdown转换器
02-04
PDF到Markdown转换器 使用Javascript工具解析PDF文件并将其转换为Markdown格式。 在线版本位于 ！ 主要变化 2017年4月-0.1：初始版本 有助于 使用和/或打开！ 有用的构建命令 npm install下载所有必需的npm软件包 ...
Markdown2Pdf：使用Java将markdown转换为pdf的简单库
02-04
Markdown2Pdf 使用Java将markdown转换为pdf的简单库 ##为什么有时候，创建markdown文件的pdf版本可能会派上用场。 该库结合了其他几个库，以利用您自己转换所有内容的麻烦。 代码库保持很小，同时仍提供流畅的API...
PDF转Markdown文件
倾锋落颖花
08-19 9484
PDF文件直接转Markdown也可以使用Obsidian加Markdown插件直接转，但是弊端是，图片资源都没有了，需要自己截图或者获取pdf图片源文件。这里建议从pdf转docx。
六个开源的PDF转Markdown项目
haleycat的博客
07-29 3004
无论是文档、表格、图像、视频、音频文件，还是网页，OmniParse 都能对其进行处理，使其变得干净、结构化，并为诸如 RAG（Retrieval-Augmented Generation）和细调等AI应用做好准备。它主要用于高效地解析 PDF 文档中的排版、数学公式、表格、图片、图表等内容，并将这些内容转换为结构化的 Markdown 格式。gptpdf 是一个利用VLLM解析PDF为Markdown的工具，几乎完美支持数学公式、表格等。将每个图像传给 GPT，让其生成 Markdown 格式的文本。
关于pdf转markdown的一些总结
简单，快乐，拥抱变化
08-30 1336
pdf转markdown，调研方法论，技术选型方法论，云方案，本地部署，python基础库
智能PDF转markdown（Marker版）
weixin_44063529的博客
07-28 847
本项目介绍了使用Marker技术实现PDF到Markdown转换的方法。希望这个项目能够帮助大家提升工作效率，享受数字化办公的便捷。“追踪AI技术动向，探索AI落地方案”
marker-快速精准实现PDF转Markdown
越努力，越幸运
06-17 1361
文本提取：首先，Marker使用OCR技术（如果需要）来提取PDF中的文本。块组合与后处理：最后，Marker将所有文本块组合起来，并使用后处理工具（如pdf_postprocessor）进行最终的文本整理，以提高输出质量。文本块清理与格式化：对于每个文本块，Marker使用启发式方法和Texify等工具进行清理和格式化，以确保文本的准确性和可读性。模型的智能使用：Marker只在必要时使用深度学习模型，这有助于提高转换速度和准确性。
一个免费好用的PDF转Markdown网站
weixin_64123373的博客
08-22 7080
免费，快速，简洁的PDF转Markdown网站。
Langchain-Chatchat之pdf转markdown格式
铁柱的博客
05-21 1876
在使用Langchain-Chatchat做RAG的时候，发现导入的pdf文件中的表格关系无法保存，导致LLM的回答不符合预期。例如我想问的内容在表格中，但LLM的回答并不是对表格的总结。 那么想要解决这个问题，就需要找到一种合适的文本格式来保留表格间的关系，然后修改Langchain-Chatchat的文本加载源码，使pdf文本转换成目标的文本格式，也就是本篇的markdown格式。
PDF转Markdown，开源免费！可在线体验
jast
09-16 832
总体来看，MinerU作为一款新兴的PDF文档转换工具，已经展示了出色的性能，尤其是在处理科技文献中的符号和结构化内容时表现优异。尽管如此，仍有一些功能和识别效果有待进一步完善。基于语义的阅读顺序优化正文中列表和代码块的自动识别文档目录的自动生成与识别化学式与几何图形的智能识别与转化这些即将实现的功能将进一步提升MinerU的实用性。
markdown文件转pdf
Rverdoser的博客
07-11 1351
安装“Markdown PDF”插件：在VS Code中，通过点击左侧菜单栏的扩展图标，搜索并安装“Markdown PDF”插件。生成PDF文件：打开要转换的Markdown文件，然后通过命令面板或右键菜单选择“导出为PDF”选项。等在线服务，这些服务允许用户上传或直接在网页上编写Markdown文本，并导出为PDF格式。这些方法提供了灵活的选择，用户可以根据自己的需求和技能水平选择最适合自己的转换方式。在这些服务中，用户通常可以调整PDF的样式和布局设置，然后下载生成的PDF文件。
python pdf转markdown
weixin_43069875的博客
12-15 2083
wxPython in action，比较系统地介绍了wxPython的使用。一直用的是中文翻译的版本，有时想运行里面的demo，复制出来很费劲，所以写了一个自动化的脚本，将文本转为了markdown格式。 读取pdf文件，将每一页转为json文件。 import pdfplumber import json path = r'wxpython in action.pdf' '''字典组成的列表，按照某一个属性归类，也就是返回一个二维数组''' def groupByKey(arr,key = 'y0'
转换PDF到markdown快速与高精度.zip
02-07
PDF（Portable Document Format）是一种广泛使用的文档格式，用于存储丰富的文本和图像信息，但它的编辑并不像Markdown那样简便。Markdown则是一种轻量级的标记语言，适用于编写易于阅读和编写的纯文本文件，且可以...
obsidian-extract-pdf:将PDF提取到黑曜石中的Markdown
05-08
将PDF文本提取到Markdown 允许您将PDF的基本文本内容提取到Markdown文件中。 与标题，段落和列表配合使用。 演示版 如何使用这个插件 安装并激活插件后： 将您的PDF拖入黑曜石 在黑曜石中打开PDF 确保包含您的PDF...
python爬虫：将知乎专栏文章转为pdf
weixin_73004416的博客
09-22 1793
欢迎关注本人的。
使用 pypdf 给 PDF 添加目录书签
qq_1070971363的博客
09-27 156
【代码】使用 pypdf 给 PDF 添加目录书签。
一个 Java 语言简化处理 PDF 的框架，提供了一套简单易用的 API 接口，满足多样化需求又能简化开发流程的处理方案（附教程）
m0_68103752的博客
09-26 469
一个专为简化 PDF 处理而生的框架，其核心特点是通过 Java 语言提供了一套简单易用的 API 接口。
Python办公自动化教程（002）：PDF的拆分与合并
WwLK123的博客
09-22 599
PyPDF2是一个用于处理PDF文件的Python库，它提供了丰富的功能来读取、编辑、合并、拆分PDF文档，以及提取文本、图像和其他内容。
SpringBoot使用EasyPoi根据模板导出word or pdf
最新发布
xingchenyv的博客
09-27 181
EasyPoi根据模板导出word or pdf
PDF转Markdown markdown
07-03
PDF（Portable Document Format）是一种广泛使用的文件格式，用于保存文档和内容，通常包含文字、图像、表格等元素，独立于操作系统。而Markdown是一种轻量级标记语言，用于创建易读易写的纯文本格式，并能转换成HTML、PDF等多种格式。 将PDF转换为Markdown的过程主要是将PDF中的文本提取出来，并根据一定的规则将其格式化为Markdown语法所能表示的结构。这涉及到几个步骤： 1. 文本提取：从PDF中识别并提取出所有的文本段落、标题、列表、链接等内容。 2. 格式转换：解析PDF的布局信息，比如字体大小、粗细、斜体、引用样式等，尽可能地转化为Markdown的格式规范。 3. 图像处理：如果PDF中有嵌入的图片，也需要单独提取并上传到Markdown文档中，可能会以链接形式插入。 4. 特殊元素处理：如表格、公式、脚注等PDF特有的元素可能需要额外的处理才能在Markdown中正确显示。 完成这些步骤后，原始PDF的内容将以易于阅读和编辑的Markdown格式呈现。有许多在线工具和软件（如`pdf2md`、`pandoc`等）以及API支持这种转换，用户只需上传PDF文件，就能自动化得到对应的Markdown文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周小董

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值