pdf格式转换--开源项目marker的安装使用(附wsl环境配置cuda和开发环境)

已于 2024-12-01 23:09:24 修改
阅读量1.6k 收藏 31
点赞数 11
文章标签： pdf linux 开源
于 2024-12-01 22:13:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43460315/article/details/144175261
版权

pdf格式转换--gpu版

一级目录

二级目录

三级目录

pdf格式转换–开源项目marker的安装使用(附wsl环境配置cuda和开发环境)

在日常学习时由于习惯用md格式收集整理各种各样的笔记，在阅读pdf书籍资料时无法像md文件那样轻松编辑，遇到问题时也不易整理，之前接触到marker这个开源项目可以将pdf转换成几种格式的文件，这里做一下整理使用。

本文主要整理和记录的是在wsl环境下的cuda和开发环境配置，当这些前置步骤做好了使用marker等开源项目只要按照官方文档操作即可。

为什么选择wsl环境？
如果使用linux系统的话在安装nvida驱动时可能会遇到黑屏等问题解决起来比较耗时，在ubuntu系统下可自行搜索nvidia驱动安装(可能会遇到驱动安装后造成黑屏死机等问题，黑屏死机的解决方案见前文Ubuntu 安装 NVIDIA 驱动导致黑屏详细解决方案)，windows系统是天然就支持nvida驱动的，但是使用windows系统本身的开发环境直接运行marker这种项目却会有各种各样的问题，wsl就能够像在linux上一样避免这些浪费时间的问题。

有关marker的介绍和调用方式详细可参考项目地址：https://github.com/VikParuchuri/marker
这里贴一下它的简要介绍：
Marker converts PDFs to markdown, JSON, and HTML quickly and accurately.

Supports a wide range of documents
Supports all languages
Removes headers/footers/other artifacts
Formats tables and code blocks
Extracts and saves images along with the markdown
Converts equations to latex
Easily extensible with your own formatting and logic
Works on GPU, CPU, or MPS

实测效果感觉虽不是很理想但比起一般的工具如pandoc等还是要强不少的。

下面首先整理一下wsl的常用或者说是必备操作吧

wsl安装

打开 PowerShell（以管理员身份运行），依次执行以下命令：

# 启用 WSL 功能
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

# 启用虚拟机平台
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

# 重启电脑后，设置 WSL2 为默认版本
wsl --set-default-version 2

# 安装 Ubuntu（推荐的 Linux 发行版）
wsl --install -d Ubuntu

备份 WSL 实例

  1. 导出 WSL 实例：
    使用 wsl.exe 命令导出你的 WSL 实例。打开 PowerShell 或命令提示符，并运行以下命令：

    wsl --export <DistroName> <BackupFileName>.tar

    其中，<DistroName> 是你的 WSL 发行版的名称（例如 Ubuntu-22.04），<BackupFileName> 是你想要保存的备份文件名。

    示例：

    wsl --export Ubuntu-22.04 C:\WSL_Backup\ubuntu_backup.tar

  2. 确认备份文件：
    确保备份文件成功创建在指定的目录中。

恢复 WSL 实例

如果未来需要恢复备份，可以使用以下步骤：

  1. 导入 WSL 实例：
    使用 wsl.exe 导入之前的备份。打开 PowerShell 或命令提示符，并运行：

    wsl --import <NewDistroName> <InstallLocation> <BackupFileName>.tar --version 2
    • <NewDistroName> 是你想给新实例起的名称。
    • <InstallLocation> 是你希望安装此实例的目录。
    • <BackupFileName> 是你之前创建的备份文件名。

    示例：

    wsl --import Ubuntu-22.04-Restore C:\WSL\Ubuntu-Restore C:\WSL_Backup\ubuntu_backup.tar --version 2

version 2表示使用wsl2
导入后的默认以root用户登录，修复：
首先可以去/home下查看用户名，之后关闭wsl :wsl --shutdown 查看名称wsl -l -v
启动wsl -d Ubuntu
在wsl中配置wsl.conf: sudo vim /etc/wsl.conf:
添加：

[user]
default=lailai

[boot]
systemd=true

[automount]
enabled=true    # 启用自动挂载 Windows 驱动器
options="metadata,umask=22,fmask=11" # 设置挂载选项

[network]
generateHosts=true
generateResolvConf=true

配置说明：

  • metadata: 允许在 Linux 文件系统中存储 Windows 文件的权限信息

  • umask=22: 设置默认权限掩码

    • 文件默认权限为 644 (rw-r–r–)
    • 目录默认权限为 755 (rwxr-xr-x)

  • fmask=11: 专门为文件设置权限掩码

    • 确保文件不会被意外设置为可执行

  • generateHosts=true

    • 自动更新 /etc/hosts 文件
    • 确保 WSL 可以解析 Windows 主机名
    • 添加必要的本地主机条目

  • generateResolvConf=true

    • 自动生成 /etc/resolv.conf 文件
    • 使用 Windows 的 DNS 设置
    • 确保 WSL 可以正常解析域名
      在 WSL (Windows Subsystem for Linux) 的 Ubuntu 中安装适用于 CUDA 的 PyTorch 版本，可以按照以下步骤进行。请确保已经安装了 WSL 2 并配置了 Ubuntu。具体步骤如下：

如何开启wsl内的代理

虽然通过配置镜像源的方式能解决大部分下载问题，但有时就是需要下载某些原生的软件或者访问请求等，这时就可以将windows主机内的代理同步到wsl中，如果使用clash，一种比较简单的方式是开启TUN模式，但有时会遇到失效的情况，也可以直接在wsl内通过设置代理地址的方式：

# 设置 windows_host 变量
export windows_host=$(ip route | grep default | awk '{print $3}')

# 设置代理
export http_proxy="http://$windows_host:7890"
export https_proxy="http://$windows_host:7890"
export all_proxy="socks5://$windows_host:7890"

# 测试代理是否生效
curl www.google.com

pytorch/cuda环境配置

接下来是环境的配置：

1. 更新系统

首先，打开 WSL 的终端，确保你的系统是最新的：

sudo apt update
sudo apt upgrade

更新失败时：

sudo apt dist-upgrade # 会处理依赖关系
sudo apt-get -f install # 也是修复依赖

2. 安装必要的依赖

在安装 PyTorch 之前，确保你的系统装有必要的依赖项：

sudo apt install python3 python3-pip python3-venv

3. 创建和激活虚拟环境（可选步骤）

为了保持项目的整洁，建议创建一个 Python 虚拟环境：

python3 -m venv marker_env
source marker_env/bin/activate

安装go :

wget https://golang.org/dl/go1.23.2.linux-amd64.tar.gz
sudo tar -C /usr/local -xzf go1.23.2.linux-amd64.tar.gz

vim ~/.bashrc —>`source ~/.bashrc

# 设置 Go 的安装路径
export PATH=$PATH:/usr/local/go/bin
export GOPATH=$HOME/go
export PATH=$PATH:$GOPATH/bin

验证：go version

4. 安装 NVIDIA 驱动和 CUDA Toolkit

确保你的 Windows 系统中安装了 NVIDIA 图形驱动，并且支持 CUDA。然后，可以在 WSL 中安装 CUDA Toolkit。

  1. 安装 NVIDIA 驱动：

    • 确保你的 Windows 系统安装了最新版本的 NVIDIA 驱动，这些驱动支持 CUDA。

  2. 安装 CUDA Toolkit：

# 添加以下内容到文件末尾
export PATH=/usr/local/cuda-12.6/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

–>source ~/.bashrc,查看安装nvcc -V

5. 安装 PyTorch

根据你的 CUDA 版本，选择合适的 PyTorch 安装命令。可以在 PyTorch 官方网站 找到具体的安装命令。通常，你可以使用以下命令安装 PyTorch：

例如，如果你安装了 CUDA 11.7，使用以下命令：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

6. 验证安装

安装完成后，运行 Python 并验证 PyTorch 是否成功安装：

python3

然后输入以下 Python 代码：

import torch
print(torch.__version__)
print(torch.cuda.is_available())
  • 如果 PyTorch 安装正确，会输出版本号。
  • torch.cuda.is_available() 如果返回 True，则说明 CUDA 可以正常使用。

marker安装使用

前置：gpu加速，nvidia显卡驱动，cuda，pytorch

安装marker-pdf:pip install marker-pdf
安装ocr：

# 1. 安装ocrmypdf
sudo apt-get install ocrmypdf

# 2. 安装ghostscript（使用提供的脚本）
bash scripts/install/ghostscript_install.sh

# 3. 安装Python包
pip install ocrmypdf

# 4. 安装tesseract语言包（根据需要选择语言）
sudo apt-get install tesseract-ocr-eng

# 5. 查找tessdata路径
find / -name tessdata

# 6. 创建环境变量文件
# 将找到的tessdata路径填入下面的命令
echo "TESSDATA_PREFIX=/你找到的/tessdata/路径" > local.env

中文简体：tesseract-ocr-chi-sim，繁体：tesseract-ocr-chi-tra
安装完成后，可以运行以下命令来检查安装的语言包

tesseract --list-langs

在这里插入图片描述
Tesseract单独使用ocr示例：

tesseract image.png output -l chi_sim
  • image.png 是您要识别的图像文件。
  • output 是输出文件的前缀，Tesseract 会生成 output.txt。
  • -l chi_sim 指定使用简体中文语言包进行识别。

使用find / -name tessdata或sudo find / -name tessdata时：

sudo find / -name tessdata
/usr/share/tesseract-ocr/4.00/tessdata
find: File system loop detected; ‘/mnt/wslg/distro’ is part of the same file system loop as ‘/’.
find: ‘/mnt/c/Program Files/Windows Defender Advanced Threat Protection/Classification/Configuration’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows/CapabilityAccessManager’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows/SystemData’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/Cache’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/Cyber’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/DataCollection’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/DLP’: Permission denied 
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/Downloads’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/Platform’: Permission denied
find: ‘/mnt/c/ProgramData/Microsoft/Windows Defender Advanced Threat Protection/SenseCM’: Permission denied
。。。

这种情况是因为你在WSL (Windows Subsystem for Linux)环境下运行命令，而这些Permission denied错误是完全正常的：

  • 即使你使用sudo，也无法访问某些Windows系统保护的目录
  • 这些目录通常是Windows系统目录或特殊服务目录
  • 这里已经找到了需要的tessdata目录/usr/share/tesseract-ocr/4.00/tessdata

marker_single转换pdf

我们可以使用marker_single命令来转换单个PDF文件。

首先创建一个输出目录来保存markdown和图片：

# 创建输出目录
mkdir -p /mnt/e/.../output

然后使用marker_single命令转换PDF：

marker_single "/mnt/e/.../xxx.pdf" "/mnt/e/.../output"

说明：

  1. 默认情况下会：

    • 自动提取和保存图片（EXTRACT_IMAGES=True）
    • 图片会保存在输出目录下的images文件夹中
    • 生成markdown文件和一个metadata.json文件

  2. 如果文档较大，你可以添加一些参数来控制转换：

marker_single "/mnt/e/.../xxx.pdf" "/mnt/e/.../output" \
  --batch_multiplier 2 \  # 如果你有足够的显存，可以提高处理速度
  --max_pages 50    # 如果你想先测试部分页面
  1. 如果转换效果不理想，可以尝试强制使用OCR：
# 设置环境变量强制OCR
export OCR_ALL_PAGES=true
# 然后运行转换命令
marker_single "/mnt/e/.../xxx.pdf" "/mnt/e/.../output"

转换完成后，在output目录下你会看到：

  • 一个.md文件（转换后的markdown文档）
  • 一个metadata.json文件（包含转换的统计信息）
  • 一个images文件夹（包含所有提取的图片）

GPU显存设置

参数：--batch_multiplier用来控制GPU显存使用的，而不是系统内存(RAM)

  • Marker默认设置：

    • 默认使用约3-4GB显存
    • –batch_multiplier 1是默认值
    • –batch_multiplier 2会使用约6-8GB显存
    • –batch_multiplier 3会使用约9-12GB显存

  • 如何设置这个参数：

  • 首先查看你的显卡显存大小：nvidia-smi

在这里插入图片描述
根据你的显卡显存大小来设置：

  • 如果显存 4GB：使用默认值 --batch_multiplier 1
    • 如果显存 8GB：可以使用 --batch_multiplier 2
    • 如果显存 12GB或以上：可以使用 --batch_multiplier 3或更高
    1. 实际使用建议：bash# 如果你有8GB显存的显卡marker_single “你的PDF路径” “输出目录” --batch_multiplier 2# 如果你有12GB或以上显存的显卡marker_single “你的PDF路径” “输出目录” --batch_multiplier 3
    1. 如果你没有独立显卡： - Marker会自动使用CPU模式 - 这种情况下–batch_multiplier参数影响不大 - 建议保持默认值或设置为1。如果你不确定，可以运行：bashnvidia-smi来查看显卡信息。

运行命令过程中会从huggingface下载模型，需要开启代理下载加速，参考前文。
或尝试使用镜像export HF_ENDPOINT=https://hf-mirror.com然后重新运行marker_single xxx命令

Marker可以快速且准确地将PDF转换为markdown格式。
星霜笔记
05-22 1957
Marker可以快速且准确地将PDF转换为markdown格式。
预训练PDF数据格式转换
热门推荐
herosunly的博客
08-12 16万+
本文主要介绍了预训练PDF数据格式转换，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. PDF数据格式转换
Marker：PDF转Markdown快速准确工具安装配置指南
gitblog_09316的博客
09-13 2030
Marker：PDF转Markdown快速准确工具安装配置指南 项目地址:https://gitcode.com/gh_mirrors/ma/marker 项目基础介绍与编程语言 Marker 是一个开源项目，旨在将PDF文档迅速且精准地转换成Markdown格式。它特别适用于书籍和科学论文等类型文档的转换，并支持所有语言。该工具采用一系列深度学习模型来处理文本提取、页面布局检测、文本清理和格式化...
FastGPT 接入 Marker PDF 文档解析
最新发布
学亮编程手记
03-20 623
使用 Marker 解析 PDF 文档，可实现图片提取和布局识别。
marker-pdf遇到hugging face网络问题的解决
weixin_61987487的博客
10-14 556
marker-pdf遇到hugging face网络问题的解决
Marker把PDF转换成markdown格式输出
qdmqdtt的博客
09-30 2212
Marker是一款能够快速且准确地将PDF转换为Markdown的工具。它支持所有语言，最适合不需要大量 OCR 的数字 PDF。Marker基于管道式的深度学习模型。工作原理如下：1.提取文本OCR2.检测页面布局并找到阅读顺序3.格式化每个block4.合并每个block并后处理完整的文本。
Windows安装Marker
weixin_44772676的博客
09-13 1122
在清华源当中下载合适的安装包并安装将conda的源替换为清华源，这里参照的使用方法进行操作.condarc。
PDF marker
07-11
PDF 转换器，用来将各种图片 文档转换为PDF，同时将PDF转换为图片
Marker：PDF转Markdown高效工具的安装与使用指南
gitblog_00985的博客
09-11 1130
Marker：PDF转Markdown高效工具的安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/mark/Marker 1. 项目目录结构及介绍 开源项目Marker位于GitHub，它专注于将PDF文档快速且准确地转换成Markdown格式。以下是项目的主要目录结构及各部分简要说明： . ├── benchmarks # 性能测试相关代...
marker-快速精准实现PDF转Markdown
越努力，越幸运
06-17 2039
文本提取：首先，Marker使用OCR技术（如果需要）来提取PDF中的文本。块组合与后处理：最后，Marker将所有文本块组合起来，并使用后处理工具（如pdf_postprocessor）进行最终的文本整理，以提高输出质量。文本块清理与格式化：对于每个文本块，Marker使用启发式方法和Texify等工具进行清理和格式化，以确保文本的准确性和可读性。模型的智能使用：Marker只在必要时使用深度学习模型，这有助于提高转换速度和准确性。
AI模型部署：Triton+Marker部署PDF转markdown服务
2401_85375298的博客
06-03 3528
marker是github上一个一个基于Python语言实现的开源的项目，它基于多个OCR模型的组合流水线来完成PDF转Markdown的任务，模型包括ORC文字提取页面布局和阅读顺序识别分模块的清洗和格式化模型合并和后处理使用pip可以安装marker安装完之后在环境变量路径下会安装对应的转化工具marker_single。
六个开源的PDF转Markdown项目
haleycat的博客
07-29 1万+
无论是文档、表格、图像、视频、音频文件，还是网页，OmniParse 都能对其进行处理，使其变得干净、结构化，并为诸如 RAG（Retrieval-Augmented Generation）和细调等AI应用做好准备。它主要用于高效地解析 PDF 文档中的排版、数学公式、表格、图片、图表等内容，并将这些内容转换为结构化的 Markdown 格式。gptpdf 是一个利用VLLM解析PDF为Markdown的工具，几乎完美支持数学公式、表格等。将每个图像传给 GPT，让其生成 Markdown 格式的文本。
Flask 学习-21. 项目配置通过.env环境变量启动开发/生产环境
qq_27371025的博客
09-02 3101
一般一个项目会配置多套环境：开发/测试/生产环境，每套环境的配置不一样，比如不同的运行环境配置的数据库不一样。
在windows10上基于Python部署marker，实现PDF转markdown文件（保姆级）
Driver_tu的博客
02-21 1953
网上冲浪了五天，查阅了200+blog，与deepseek对话battle了八次，解决不了问题，我就看源码你，没想到，还真解决了问题，实现了预期目标。win环境下部署与Linux等其他系统环境不同，我个人的电脑也没有安装NVIDIA显卡，以下所用的插件版本会在文中列出。安装安装系统级依赖。
marker 开源项目安装与使用指南
gitblog_00902的博客
08-23 505
marker 开源项目安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/mar/marker 一、项目目录结构及介绍 开源项目 marker 的目录结构精心组织以支持其功能需求。以下是主要的目录和它们的简要说明： . ├── README.md # 项目简介和快速入门指南 ├── LICENSE # 许可证文件 ├── sr...
Marker 开源项目使用教程
gitblog_00010的博客
08-09 1905
Marker 开源项目使用教程 markerConvert PDF to markdown quickly with high accuracy项目地址:https://gitcode.com/gh_mirrors/ma/marker 项目介绍 Marker 是一个基于深度学习的文档处理工具，旨在从 PDF 文件中提取文本、表格和代码块，并将其转换为 Markdown 格式。它支持 OCR 处理...
开源PDF解析工具marker 和 MinerU的解析效果对比
Angus
07-20 9903
RAG中的文档解析需求：需要的是文档的完整段落，标题，图片，表格。我们希望删除的是md格式，或者josn格式。MinerU 和 maker恰好。都是能够满足此需求的开源工具。这篇文章分享一下对两者的对比。
pdfmark生成pdf文件并下载
qq_36093530的博客
05-27 2031
最近在维护老项目时发现了生成pdf的功能，于是把这部分功能摘录下来，同时上网查询了关于pafmark资料,将这部分功能修改成可以适配vue2的写法。 首先npm下载插件： npm install pdfmake 然后在所需的页面引入： import pdfMake from "pdfmake/build/pdfmake"; 生成的pdf需要配置字体文件防止乱码，这里我分享一个字体文件 ...............
开源项目marker使用
01-10
### 如何使用开源项目 Marker #### 安装 Marker 为了能够顺利运行 Marker，需先完成其安装过程。对于不同操作系统而言，具体的安装指令可能有所差异，在此主要针对 Linux 和 macOS 用户提供指导[^1]。 在终端执行如下命令来克隆仓库并进入相应文件夹： ```bash git clone https://gitcode.com/gh_mirrors/mar/marker.git && cd marker ``` 接着按照官方文档中的说明进行依赖项的安装以及必要的环境变量设置[^3]。 #### 配置 WSL 环境 (可选) 如果是在 Windows Subsystem for Linux (WSL) 上部署，则还需要额外配置 CUDA 及其他开发工具链。这部分内容较为复杂，建议参照专门的文章或教程来进行操作。 #### 启动与基本功能探索 成功安装之后就可以通过简单的命令启动 Marker 了。输入 `marker` 即可在当前路径下激活该程序，并打开交互式的命令面板界面[^5]。 此时可以尝试一些基础的功能测试，比如查看帮助信息(`marker help`)、列出支持的操作选项等。随着熟悉度增加，还可以进一步挖掘更多高级特性，如自定义主题样式或是集成到特定的工作流当中去[^4]。 #### 将 PDF 转换为 Markdown 文件 Marker 的一大亮点在于它可以快速而精准地把 PDF 文档转化为易于编辑处理的 Markdown 格式文本。只需指定目标文件名作为参数传递给转换函数即可实现自动化流程[^2]: ```bash marker convert input.pdf output.md ``` 以上就是关于如何使用开源项目 Marker 的详细介绍。希望这些资料可以帮助使用者更好地理解和掌握这一实用工具的应用场景和技术细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱松子鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值