MinerU-pdf识别-本地部署

MinerU本地部署

项目介绍：这是一款支持PDF、网页、电子书提取的一站式、开源、高质量数据提取工具。

项目地址：GitHub - opendatalab/MinerU： 一站式、开源、高质量的数据提取工具，支持PDF/网页/电子书提取。

准备工具：git，cuda12.4（本机版本）

项目部署：

1. 将项目文件下载到本地

1. 创建虚拟环境：conda create -n MinerU python=3.10

1. 激活虚拟环境：conda activate MinerU

1. 进入项目地址：D:

cd D:\liu\Project\MinerU-master

1. 安装应用程序：pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

安装完成后验证版本：版本号应大于0.7.0

1. 下载模型（已下载git并可使用）：

1. 在模型下载目标路径右键选择open git bash here
2. git lfs install # 安装 Git 大文件存储插件 (Git LFS)
3. git lfs clone 魔搭社区

以上方法为本人尝试，更多方法参考官网，模型拉取后检查模型文件是否完整

注意模型拉取后名为model非直接可用，需要进入文件夹找到models文件夹即为可用，即打开文件夹就是下图结构

1. 文件配置

1. 从根目录获取配置模板文件。magic-pdf.template.json

1. 将文件复制到用户目录下并更名为magic-pdf.json

1. 编辑文件修改models-dir字段和device-mode字段

models-dir字段：模型路径

device-model：cpu 或 cuda

1. 覆盖支持 CUDA 的 torch 和 torchvision 的安装（CPU用户跳过此步骤）

官网代码：pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118

本机cuda版本不同，pytorch对应版本代码：pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121

1. 下载paddlepaddle-gpu，安装后会自动开启 OCR 加速：pip install paddlepaddle-gpu==2.6.1（CPU用户跳过此步骤）
2. 运行：magic-pdf -p small_ocr.pdf -o output（测试文件存放在根目录demo文件夹下，可移动至根目录执行此命令）

结果：

对照：左为pdf文件，右为识别结果