PP-Structure 快速入门

已于 2024-10-01 16:08:14 修改
阅读量450 收藏 12
点赞数 9
分类专栏： OCR 文章标签： 计算机视觉 人工智能 图像处理 paddlepaddle
于 2024-10-01 16:02:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66579097/article/details/142671672
版权

PP-Structure 快速入门

English | 简体中文

PP-Structure 文档分析

1. 简介

PP-Structure是PaddleOCR团队自研的智能文档分析系统，旨在帮助开发者更好的完成版面分析、表格识别等文档理解相关任务。

PP-StructureV2系统流程图如下所示，文档图像首先经过图像矫正模块，判断整图方向并完成转正，随后可以完成版面信息分析与关键信息抽取2类任务。

  • 版面分析任务中，图像首先经过版面分析模型，将图像划分为文本、表格、图像等不同区域，随后对这些区域分别进行识别，如，将表格区域送入表格识别模块进行结构化识别，将文本区域送入OCR引擎进行文字识别，最后使用版面恢复模块将其恢复为与原始图像布局一致的word或者pdf格式的文件；
  • 关键信息抽取任务中，首先使用OCR引擎提取文本内容，然后由语义实体识别模块获取图像中的语义实体，最后经关系抽取模块获取语义实体之间的对应关系，从而提取需要的关键信息。

更多技术细节：👉 PP-StructureV2技术报告 中文版，英文版。

PP-StructureV2支持各个模块独立使用或灵活搭配，如，可以单独使用版面分析，或单独使用表格识别，点击下面相应链接获取各个独立模块的使用教程：

2. 特性

PP-StructureV2的主要特性如下：

  • 支持对图片/pdf形式的文档进行版面分析，可以划分文字、标题、表格、图片、公式等区域；
  • 支持通用的中英文表格检测任务；
  • 支持表格区域进行结构化识别，最终结果输出Excel文件；
  • 支持基于多模态的关键信息抽取(Key Information Extraction，KIE)任务-语义实体识别(Semantic Entity Recognition，SER)和关系抽取(Relation Extraction，RE)；
  • 支持版面复原，即恢复为与原始图像布局一致的word或者pdf格式的文件；
  • 支持自定义训练及python whl包调用等多种推理部署方式，简单易用；
  • 与半自动数据标注工具PPOCRLabel打通，支持版面分析、表格识别、SER三种任务的标注。

3. 效果展示

PP-StructureV2支持各个模块独立使用或灵活搭配，如，可以单独使用版面分析，或单独使用表格识别，这里仅展示几种代表性使用方式的可视化效果。

3.1 版面分析和表格识别

下图展示了版面分析+表格识别的整体流程，图片先有版面分析划分为图像、文本、标题和表格四种区域，然后对图像、文本和标题三种区域进行OCR的检测识别，对表格进行表格识别，其中图像还会被存储下来以便使用。

3.1.1 版面识别返回单字坐标

下图展示了基于上一节版面分析对文字进行定位的效果， 可参考文档。

3.2 版面恢复

下图展示了基于上一节版面分析和表格识别的结果进行版面恢复的效果。

3.3 关键信息抽取

  • SER

图中不同颜色的框表示不同的类别。

  • RE

图中红色框表示问题，蓝色框表示答案，问题和答案之间使用绿色线连接。

4. 快速体验

请参考快速使用教程。

5. 模型库

部分任务需要同时用到结构化分析模型和OCR模型，如表格识别需要使用表格识别模型进行结构化解析，同时也要用到OCR模型对表格内的文字进行识别，请根据具体需求选择合适的模型。

结构化分析相关模型下载可以参考：

OCR相关模型下载可以参考：

1. 环境准备

1.1 安装 PaddlePaddle

如果你没有 Python 环境，请参考 环境准备。

  • 如果你的机器上安装了 CUDA 9 或 CUDA 10，请运行以下命令进行安装
  python3 -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple
  • 如果你的机器上没有可用的 GPU，请运行以下命令安装 CPU 版本
python3 -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple

更多软件版本要求请参考安装文档中的说明进行操作。

1.2 安装PaddleOCR Whl包

# 安装paddleocr，建议2.6版本
pip3 install "paddleocr>=2.6.0.3"

# 安装图片方向分类依赖包paddleclas（如果不用图片方向分类可以跳过）
pip3 install paddleclas>=2.4.3

2. 快速使用

2.1 命令行使用

2.1.1 图像方向+布局分析+表格识别
paddleocr --image_dir=ppstructure/docs/table/1.png --type=structure --image_orientation=true

2.1.2 布局分析+表格识别
paddleocr --image_dir=ppstructure/docs/table/1.png --type=structure

2.1.3 布局分析
paddleocr --image_dir=ppstructure/docs/table/1.png --type=structure --table=false --ocr=false

2.1.4 表格识别
paddleocr --image_dir=ppstructure/docs/table/table.jpg --type=structure --layout=false

2.1.5 关键信息提取

关键信息提取目前不支持 whl 包使用，详细使用教程请参考：推理文档。

2.1.6 布局恢复（PDF 转 Word）

提供两种布局恢复方式，详细使用教程请参考：布局恢复。

  • PDF解析
  • OCR

使用PDF解析恢复（仅支持pdf作为输入）：

paddleocr --image_dir=ppstructure/docs/recovery/UnrealText.pdf --type=structure --recovery=true --use_pdf2docx_api=true

使用OCR恢复：

paddleocr --image_dir=ppstructure/docs/table/1.png --type=structure --recovery=true --lang='en'

2.2 python脚本使用

2.2.1 图像方向+布局分析+表格识别
import os
import cv2
from paddleocr import PPStructure,draw_structure_result,save_structure_res

table_engine = PPStructure(show_log=True, image_orientation=True)

save_folder = './output'
img_path = 'ppstructure/docs/table/1.png'
img = cv2.imread(img_path)
result = table_engine(img)
save_structure_res(result, save_folder,os.path.basename(img_path).split('.')[0])

for line in result:
line.pop('img')
print(line)

from PIL import图片

font_path = 'doc/fonts/simfang.ttf' # PaddleOCR下提供字体包
image = Image.open(img_path).convert('RGB')
im_show = draw_structure_result(image, result,font_path=font_path)
im_show = Image.fromarray(im_show)
im_show.save('result.jpg')

2.2.2 布局分析+表格识别
import os
import cv2
from paddleocr import PPStructure,draw_structure_result,save_structure_res

table_engine = PPStructure(show_log=True)

save_folder = './output'
img_path = 'ppstructure/docs/table/1.png'
img = cv2.imread(img_path)
result = table_engine(img)
save_structure_res(result, save_folder,os.path.basename(img_path).split('.')[0])

for line in result:
line.pop('img')
print(line)

from PIL import Image

font_path = 'doc/fonts/simfang.ttf' # PaddleOCR 提供的字体
image = Image.open(img_path).convert('RGB')
im_show = draw_structure_result(image, result,font_path=font_path)
im_show = Image.fromarray(im_show)
im_show.save('result.jpg')

2.2.3 布局分析
import os
import cv2
from paddleocr import PPStructure，save_structure_res

table_engine = PPStructure（table=False，ocr=False，show_log=True）

save_folder = './output'
img_path = 'ppstructure/docs/table/1.png'
img = cv2.imread（img_path）
result = table_engine（img）
save_structure_res（result，save_folder，os.path.basename（img_path）。split（'.'）[0]）

对于结果中的行：
line.pop（'img'）
print（line）

import os
import cv2
from paddleocr import PPStructure,save_structure_res

ocr_engine = PPStructure(table=False, ocr=True, show_log=True)

save_folder = './output'
img_path = 'ppstructure/docs/recovery/UnrealText.pdf'
result = ocr_engine(img_path)
for index, res in enumerate(result):
    save_structure_res(res, save_folder, os.path.basename(img_path).split('.')[0], index)

for res in result:
    for line in res:
        line.pop('img')
        print(line)

import os
import cv2
import numpy as np
from paddleocr import PPStructure,save_structure_res
from paddle.utils import try_import
from PIL import Image

ocr_engine = PPStructure(table=False, ocr=True, show_log=True)

save_folder = './output'
img_path = 'ppstructure/docs/recovery/UnrealText.pdf'

fitz = try_import("fitz")
imgs = []
with fitz.open(img_path) as pdf:
    for pg in range(0, pdf.page_count):
        page = pdf[pg]
        mat = fitz.Matrix(2, 2)
        pm = page.get_pixmap(matrix=mat, alpha=False)

        # if width or height > 2000 pixels, don't enlarge the image
        if pm.width > 2000 or pm.height > 2000:
            pm = page.get_pixmap(matrix=fitz.Matrix(1, 1), alpha=False)

        img = Image.frombytes("RGB", [pm.width, pm.height], pm.samples)
        img = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR)
        imgs.append(img)

for index, img in enumerate(imgs):
    result = ocr_engine(img)
    save_structure_res(result, save_folder, os.path.basename(img_path).split('.')[0], index)
    for line in result:
        line.pop('img')
        print(line)
2.2.4 表格识别
import os
import cv2
from paddleocr import PPStructure,save_structure_res

table_engine = PPStructure(layout=False, show_log=True)

save_folder = './output'
img_path = 'ppstructure/docs/table/table.jpg'
img = cv2.imread(img_path)
result = table_engine(img)
save_structure_res(result, save_folder, os.path.basename(img_path).split('.')[0])

for line in result:
    line.pop('img')
    print(line)
2.2.5 密钥信息提取

密钥信息提取目前不支持 whl 包使用，详细使用教程请参考：密钥信息提取。

2.2.6 布局恢复
import os
import cv2
from paddleocr import PPStructure,save_structure_res
from paddleocr.ppstructure.recovery.recovery_to_doc import sorted_layout_boxes, convert_info_docx

# Chinese image
table_engine = PPStructure(recovery=True)
# English image
# table_engine = PPStructure(recovery=True, lang='en')

save_folder = './output'
img_path = 'ppstructure/docs/table/1.png'
img = cv2.imread(img_path)
result = table_engine(img)
save_structure_res(result, save_folder, os.path.basename(img_path).split('.')[0])

for line in result:
    line.pop('img')
    print(line)

h, w, _ = img.shape
res = sorted_layout_boxes(result, w)
convert_info_docx(img, res, save_folder, os.path.basename(img_path).split('.')[0])

2.3 结果说明

PP-Structure 返回的是一串字典，示例如下：

2.3.1 布局分析 + 表格识别
[
{ 'type': 'Text',
'bbox': [34, 432, 345, 462],
'res': ([[36.0, 437.0, 341.0, 437.0, 341.0, 446.0, 36.0, 447.0], [41.0, 454.0, 125.0, 453.0, 125.0, 459.0, 41.0, 460.0]],
[('Tigure-6. CNN 和 IPT 模型使用 difforen', 0.90060663), ('Tent ', 0.465441)])
}
]

dict中各个字段说明如下：

fielddescription
type图片区域的类型。
bbox图片区域在原图中的坐标，分别为[左上角x，左上角y，右下角x，右下角y]。
res图片区域的OCR或者表格识别结果。
table：一个dict，字段说明如下：
        html：表格的html str。
       代码使用方式中，设置return_ocr_result_in_table=True，调用时可得到表格区域内每段文字的检测识别结果，对应以下字段：
        boxes：文字检测框。
      rec_res：文字识别结果。
OCR：包含每段文字的检测框和识别结果的元组。

识别完成后，每幅图像在output字段指定的目录下都会有一个同名的目录，图像中每张表格都会被存储为excel，图片区域会被裁剪保存，excel和图片的文件名都是它们在图像中的坐标。

/output/table/1/
└─ res.txt
└─ [454, 360, 824, 658].xlsx表格识别结果
└─ [16, 2, 828, 305].jpg图片中
└─ [17, 361, 404, 711].xlsx表格识别结果

2.3.2 关键信息提取

请参考：关键信息提取 。

2.4 参数说明

fielddescriptiondefault
output结果保存路径./output/table
table_max_len表格结构模型中图片长边调整大小488
table_model_dir表格结构模型推理模型路径None
table_char_dict_path表格结构模型字典路径…/ppocr/utils/dict/table_structure_dict.txt
merge_no_span_structure表格识别模型中是否合并 ‘<td>’ 和 ‘</td>’False
layout_model_dir布局分析模型推理模型路径None
layout_dict_path布局分析模型字典路径…/ppocr/utils/dict/layout_publaynet_dict.txt
layout_score_threshold布局分析模型的框阈值路径0.5
layout_nms_threshold布局分析模型的nms阈值路径0.5
kie_algorithmkie模型算法LayoutXLM
ser_model_dirSer模型推理模型路径None
ser_dict_pathSer模型的字典路径…/train_data/XFUND/class_list_xfun.txt
modestructure or kiestructure
image_orientationforward中是否进行图像方向分类False
layoutforward中是否进行布局分析True
tableforward中是否进行表格识别True
ocr布局分析中是否对非表格区域进行ocr，当layout为False时会自动设置为FalseTrue
recoveryforward中是否进行布局恢复False
save_pdfrecovery时是否将docx转换为pdfFalse
structure_version结构版本，可选PP-structure和PP-structurev2PP-structure

大部分参数与PaddleOCR whl包一致，参见whl包文档

3. 总结

通过本节内容，您可以掌握通过PaddleOCR whl包使用PP-Structure相关函数的方法。更详细的使用教程包括模型训练、推理和部署等，请参考文档教程。

hsling松子
关注
专栏目录
基于PP-Structure技术的智能图片识别表格程序
07-05
内容概要：本资源介绍了如何使用飞桨PaddleOCR团队开发的PP-Structure工具，将图片中的数据转换为Excel格式，实现数字化办公中的文档分析和表格识别。 适合人群：适合对数字化办公自动化、OCR技术以及数据结构化...
Diverse-Structure-Inpainting:CVPR 2021
03-14
安装此代码已使用TensorFlow 1.12.0，CUDA 9.0，Python 3.6和Ubuntu 16.04进行了测试克隆此存储库： git clone https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting.git数据集 ：来自日益增长的GAN的...
Euler-Structure-2D_Euler-Structure-2D_
10-03
对于Euler-Structure-2D程序，它可能采用了有限差分法，通过近似空间和时间导数来迭代求解。 1. 时空离散化：在空间上，使用均匀或非均匀网格；在时间上，采用隐式或显式时间步进方法。 2. 边界条件：需要设置适当...
Data-structure-master_data-structure_Big!_
10-03
在“Data-structure-master_data-structure_Big!”这个项目中，我们可以看到一系列与数据结构相关的学习资源，包括神经网络、报警系统、大型二（Big Two）游戏以及台北地铁的数据结构应用实例。 首先，让我们深入...
C#平台调用OpenVINOTM部署PP-TinyPose人体关键点识别模型
02-29
基于OpenVINOTM模型推理库，在C#语言下，调用封装的OpenVINOTM动态链接库，部署推理PP-TinyPose人体关键点识别模型，实现了在C#平台调用OpenVINOTM部署PP-TinyPose人体关键点识别模型 项目介绍  该项目基于...
浅析人脸活体检测技术的实现过程及其应用领域
最新发布
智能图像识别
09-30 243
这些技术能够捕捉人脸的细微特征，如皮肤纹理、血管模式、眼动等，以及人脸的动态行为，如眨眼、微笑等，从而准确区分真实人脸与伪造图像。人脸活体检测技术在金融支付领域的应用日益广泛，该技术主要通过分析人脸图像中的生物特征以及行为特征，判断人脸图像是否来自真实的生物个体，以防范照片、视频等伪造手段的攻击，从而确保支付过程的安全性。门禁系统：在写字楼、小区、机场等场所的入口控制中，人脸活体检测技术可以替代传统的钥匙和密码，提供更加安全和便捷的出入管理方式。图像采集：首先，通过摄像头等图像采集设备获取人脸图像。
谷歌发布Imagen 3，超过SD3、DALL・E-3，谷歌发布新RL方法，性能提升巨大，o1模型已证明
代码讲故事
09-27 1046
谷歌发布Imagen 3，超过SD3、DALL・E-3，谷歌发布新RL方法，性能提升巨大，o1模型已证明。 谷歌DeepMind发布了全新文生图模型Imagen 3，在文本语义还原、色彩搭配、文本嵌入、图像细节、光影效果等方面相比第二代大幅度提升。 Imagen 3的评测效果也比SD3、DALL・E-3、Midjourney等知名开闭源模型更好。目前，Imagen 3已经可以在美国地区使用，未来谷歌会持续扩大使用范围。
【计算机视觉】YoloV8-训练与测试教程
白乐天_ξ( ✿＞◡❛)的博客
09-24 1797
YOLOv8的相关使用教程
计算机视觉实战项目4（图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别+无人机检测+A*路径规划+单目测距与测速+行人车辆计数等）
阿利同学的博客
09-24 2008
往期热门项目回顾： 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾+目标检测+测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 AI健身教练-引体向上-俯卧撑计数代码-仰卧起坐姿态估计-康复训练姿态识别-姿态矫正（附代码） yolov8双目测距-yolov8+sgbm（原理+代码） yolov5单目测距+速度测量+目标跟踪（算法介绍和代码 YOLOv8界面-目标检测+语义分割
《OpenCV 计算机视觉》—— 图像拼接
weixin_73504499的博客
09-30 579
【代码】《OpenCV》—— 图像拼接。
从入门到入土：计算机视觉CV学习路线图
老码的专栏
09-26 659
在当今这个被数据和图像淹没的世界，计算机视觉（CV）正如一位聪明绝顶的魔术师，能够从无数的图像中提取出有意义的信息。对于那些初入这个领域的新人，学习计算机视觉既是一场冒险，也是一场盛宴。让我作为一位过来人，带你探索这条学习之路。
DERT目标检测源码流程图main.py的执行
xiaoxu的博客
09-27 483
补充官网提供的预测部分的代码信息
PaddleDetection 自定义训练目标检测
长安不及十里的博客
09-30 951
PaddleDetection是一个基于PaddlePaddle的目标检测端到端开发套件，在提供丰富的模型组件和测试基准的同时，注重端到端的产业落地应用，通过打造产业级特色模型|工具、建设产业应用范例等手段，帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通，快速进行落地应用。
GLIP v1
KIKI3666的博客
09-27 1122
的文章的出发点，就是将检测问题转换为短语定位（phrase grounding）问题，这样GLIP 模型就统一了目标检测和定位两个任务，可以使用更多的数据集。）和LSeg的做法一样，都是为了使图像特征和文本特征进一步交互，使最终的图像-文本联合特征空间（joined embedding space）训练得更好（相似的embedding拉近，不相似的拉远），图像特征和文本特征被训练的更强更有关联性，这样后面计算相似度矩阵的效果肯定就更好。的目标检测模型，来把这些corner case都处理的很好。
损失函数篇 | YOLOv5 引入Unified-IoU 高质量目标检测IoU损失
YOLOv8项目贡献者
09-30 162
损失函数篇 | YOLOv5 引入Unified-IoU 高质量目标检测IoU损失
数据集-目标检测系列-豹子 猎豹 检测数据集 leopard＞＞ DataBall
Eric.Lee的博客
09-27 511
数据集-目标检测系列-豹子 猎豹 检测数据集 leopard 数据量：5k + 想要进一步了解，请联系。 DataBall 助力快速掌握数据集的信息和使用方式，会员享有 百种数据集，持续增加中。 数据样例项目地址： gitcode: https://gitcode.com/DataBall/DataBall-detections-100s/overview github: https://github.com/TechLinkX/DataBall-detections-100s 目前数据集
opencv实战项目二十八：基于Shi-Tomasi算法的箱子角点检测
HanWenKing的博客
09-27 1440
随着科技的飞速发展，计算机视觉技术在我们的日常生活中扮演着越来越重要的角色。从无人驾驶汽车到智能手机的摄像头，再到各种智能监控系统，角点检测作为计算机视觉领域的基础技术之一，其应用范围日益广泛。在本文中，我们将聚焦于一种经典的角点检测算法——Shi-Tomasi角点检测算法，并以箱子角点检测为例，探讨其在实际应用中的效果和优势。Shi-Tomasi角点检测算法是基于Harris角点检测算法改进而来的一种高效、稳定的角点检测方法。
【科研小小白】理解图片容量、像素、尺寸、分辨率各自含义、 像素、分辨率与实际尺寸之间的转换关系
imblackcat的博客
09-27 601
又如大多数网页制作常用图片分辨率为72，即每英寸像素为72，1英寸等于2.54厘米，那么通过换算可以得出每厘米等于28像素；比如当前图像分辨率为300Dpi，也就是说1英寸内有300个像素点**，1平方英寸内有300*300=90000个像素点**，那么每个像素的大小就是1/90000平方英寸。如：分辨率=72像素/英寸，它的含义就是在1英寸长度内有72个像素点，由此可见，单位长度内的像素越高，分辨率越高，图像越细腻。，它代表像素的密度，一般以：像素/英寸、或者像素/厘米表示。那么像素到底是多么大？
hrnet训练的pt模型结合目标检测进行关键点识别的更准确前向推理
weixin_45354497的博客
09-27 354
hrnet训练的pytorch模型结合目标检测，让关键点识别的前向推理更加准确
pp-structure
09-12
PP-Structure是一种基于语言学分析的句子结构分析方法，PP在这里指的是“Phrase-structure（短语结构）”。该方法通过对句子中的各种短语进行分析，得出句子的结构和语法规则。具体而言，PP-Structure将句子分解成一个个短语，并将这些短语按照层级关系组织起来，形成一棵树状结构，即短语结构树。在这棵树上，每个节点代表一个短语，包括名词短语、动词短语、形容词短语等等。这些短语之间通过不同的语法规则进行连接，形成句子的完整结构。通过PP-Structure方法分析句子的结构，可以帮助我们更好地理解句子的语义和语法结构，从而有效地进行自然语言处理和文本分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hsling松子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值