最好用的图文识别OCR -- PaddleOCR(2) 提高检测识别精度 && 推理效率(PPOCR模型转ONNX模型进行推理)

已于 2025-01-09 18:44:22 修改
阅读量2.2k 收藏 18
点赞数 30
分类专栏： OCR Python 模型 文章标签： ocr python PaddleOCR ONNX
于 2025-01-07 20:55:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36228377/article/details/144898240
版权

提高检测识别精度 && 推理效率

在实际推理过程中，使用 PaddleOCR 模型时效率较慢，经测试每张图片的检测与识别平均耗时超过 5 秒，这在需要大规模自动化处理的场景中无法满足需求。为此，我尝试将 PaddleOCR 模型转换为 ONNX 格式进行推理，以提升效率。以下是模型转换与使用的完整过程记录。

基于项目

本次转换基于 GitHub 上的 OnnxOCR 项目，仓库地址如下：
https://github.com/jingsongliujing/OnnxOCR

项目的介绍图如下：
OnnxOCR 项目介绍

优化后的代码参考： https://github.com/CKboss/pp_onnx
本文使用到的模型转换工具： Paddle2ONNX

环境准备

  1. 安装必要工具和依赖
pip install paddlepaddle==3.0.0b2 -i https://www.paddlepaddle.org.cn/packages/stable/cpu/ \
&& pip install paddlex==3.0.0b2 \
&& pip install paddle2onnx \
&& pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt \
&& pip install onnx==1.17.0 \
&& pip install onnxruntime==1.20.1
# (或者安装GPU版本 pip install onnxruntime-gpu)
  1. PaddleOCR 官方模型列表

高效率版本

1 下载模型与相关资源

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

以下为高效率版本用到的模型及其下载地址：

分别下载并解压上面的模型列表 留作备用

2. 模型转换

下载 OnnxOCR 项目代码：

git clone https://github.com/jingsongliujing/OnnxOCR.git

转换 PaddleOCR 模型为 ONNX：
使用之前下载好的模型文件开始进行模型转换,以下命令用于将 PaddleOCR 的检测、识别和方向分类模型分别转换为 ONNX 格式。

# 检测模型转换
paddle2onnx --model_dir ./PP-OCRv4_mobile_det_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./det2.onnx \
             --opset_version 14 --enable_onnx_checker True

# 识别模型转换
paddle2onnx --model_dir ./PP-OCRv4_mobile_rec_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./rec2.onnx \
             --opset_version 14 --enable_onnx_checker True

# 方向分类模型转换
paddle2onnx --model_dir ./ch_ppocr_mobile_v2.0_cls_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./cls.onnx \
             --opset_version 14 --enable_onnx_checker True

模型文件的最终存放结构如下：
在这里插入图片描述

3. 转换后效果测试

测试图片示例：

测试图片

使用 PaddleOCR 模型进行推理：

  • 配置PaddleOCR的运行环境

    参考上一篇文章中的 PaddleOCR 高效率版本 配置:
    最好用的图文识别OCR – PaddleOCR(1) 快速集成

  • 代码演示 PaddleOCR 的推理流程：

    from paddlex import create_pipeline
import cv2
import time

time1 = time.time()
pipeline = create_pipeline(pipeline="../OCR.yaml",device='cpu')

image = cv2.imread("../tb-img/img9.webp")
output = pipeline.predict(image)
time_count = time.time() - time1

for res in output:
    dt_scores = res.get("dt_scores")
    rec_text = res.get("rec_text")
    for i in range(len(rec_text)):
        print(rec_text[i],dt_scores[i])
    res.save_to_img(f"./output.jpg")
print(f'------------------------ 总花费时间： {time_count} 秒----------------------')

  • 推理结果和用时
    在这里插入图片描述

使用转换后的 ONNX 模型进行推理：

  • 代码演示 ONNX 模型的推理流程：

    import cv2
import time
from onnxocr.onnx_paddleocr import ONNXPaddleOcr,sav2Img
from pathlib import Path

# 获取当前文件所在的目录
module_dir = Path(__file__).resolve().parent
ch_model = {
    "det_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/det/ch/det.onnx',
    "rec_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/rec/ch/rec.onnx',
    "cls_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/cls/ch_ppocr_mobile_v2.0_cls.onnx',
    "rec_char_dict_path": f'{module_dir}/onnxocr/models/ppocrv4/rec_char_dict/ppocr_keys_v1.txt',
    "vis_font_path":f'{module_dir}/onnxocr/fonts/simfang.ttf'
}

time1 = time.time()

model = ONNXPaddleOcr(
    use_angle_cls=True, 
    use_gpu=False,
    det_model_dir=ch_model["det_model_dir"],
    rec_model_dir=ch_model["rec_model_dir"],
    cls_model_dir=ch_model["cls_model_dir"],
    rec_char_dict_path=ch_model["rec_char_dict_path"],
    vis_font_path=ch_model["vis_font_path"],
    drop_score=0.1,
    )

resized_img = cv2.imread("../tb-img/img9.webp")
result = model.ocr(resized_img)
time_count = time.time() - time1

for res in result[0]:
    print(res[1][0],res[1][1])
    
sav2Img(resized_img, result)
print(f'------------------------ 总花费时间： {time_count} 秒----------------------')

  • 推理结果和用时
    在这里插入图片描述

高精度版本

1 下载模型与相关资源

在这里插入图片描述
在这里插入图片描述

以下为高精度版本的模型及其下载地址：

分别下载并解压上面的模型列表 & 字典文件 & 中文字体 留作备用

2 配置PaddleOCR的运行环境

参考上一篇文章中的 PaddleOCR 高精度版本 配置:
最好用的图文识别OCR – PaddleOCR(1) 快速集成

3. 模型转换

下载 OnnxOCR 项目代码：

git clone https://github.com/jingsongliujing/OnnxOCR.git

转换 PaddleOCR 模型为 ONNX：
使用之前下载好的模型文件开始进行模型转换,以下命令用于将 PaddleOCR 的检测、识别和方向分类模型分别转换为 ONNX 格式。

# 检测模型转换
paddle2onnx --model_dir ./PP-OCRv4_server_det_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./PP-OCRv4_server_det.onnx \
             --opset_version 14 --enable_onnx_checker True

# 识别模型转换
paddle2onnx --model_dir ./PP-OCRv4_server_rec_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./PP-OCRv4_server_rec.onnx \
             --opset_version 14 --enable_onnx_checker True

# 方向分类模型转换
paddle2onnx --model_dir ./ch_ppocr_mobile_v2.0_cls_infer \
             --model_filename inference.pdmodel \
             --params_filename inference.pdiparams \
             --save_file ./ch_ppocr_mobile_v2.0_cls.onnx \
             --opset_version 14 --enable_onnx_checker True

模型文件的最终存放结构如下：
在这里插入图片描述

4. 转换后效果测试

测试图片示例：

测试图片

使用 PaddleOCR 模型进行推理：

  • 配置PaddleOCR的运行环境

    参考上一篇文章中的 PaddleOCR 高精度版本 配置:
    最好用的图文识别OCR – PaddleOCR(1) 快速集成

  • 代码演示 PaddleOCR 的推理流程：

    from paddlex import create_pipeline
import cv2
import time

time1 = time.time()
pipeline = create_pipeline(pipeline="../OCR.yaml",device='cpu')

image = cv2.imread("../tb-img/img9.webp")
output = pipeline.predict(image)
time_count = time.time() - time1

for res in output:
    print(res.get("rec_text"),res.get("dt_scores"))
print(f'------------------------ 总花费时间： {time_count} 秒----------------------')

  • 推理结果和用时
    在这里插入图片描述

使用转换后的 ONNX 模型进行推理：

以下代码演示 ONNX 模型的推理流程：

import cv2
import time
from onnxocr.onnx_paddleocr import ONNXPaddleOcr,sav2Img
from pathlib import Path

# 获取当前文件所在的目录
module_dir = Path(__file__).resolve().parent
ch_model = {
    "det_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/det/ch/PP-OCRv4_server_det.onnx',
    "rec_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/rec/ch/PP-OCRv4_server_rec.onnx',
    "cls_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/cls/ch_ppocr_mobile_v2.0_cls.onnx',
    "rec_char_dict_path": f'{module_dir}/onnxocr/models/ppocrv4/rec_char_dict/ppocr_keys_v1.txt',
    "vis_font_path":f'{module_dir}/onnxocr/fonts/simfang.ttf'
}

time1 = time.time()

model = ONNXPaddleOcr(
    use_angle_cls=True, 
    use_gpu=False,
    det_model_dir=ch_model["det_model_dir"],
    rec_model_dir=ch_model["rec_model_dir"],
    cls_model_dir=ch_model["cls_model_dir"],
    rec_char_dict_path=ch_model["rec_char_dict_path"],
    vis_font_path=ch_model["vis_font_path"],
    drop_score=0.1,
    )

resized_img = cv2.imread("../tb-img/img9.webp")
result = model.ocr(resized_img)
time_count = time.time() - time1

for res in result[0]:
    print(res[1][0],res[1][1])
print(f'------------------------ 总花费时间： {time_count} 秒----------------------')
  • 推理结果和用时
    在这里插入图片描述

结果比对

  • 不同版本 识别准确度 & 用时 比对：

    用时 / s识别准确度
    Paddle高效率2.07一般
    ONNX高效率0.48较差
    Paddle高精度1.82精准
    ONNX高精度7.01精准

  • 高效率版本
    测试显示，在相同硬件环境下，通过将 PaddleOCR 高效率模型转换为 ONNX 格式，可以显著提升推理速度。但是精度缺有所损失。

  • 高精度版本
    测试显示，在相同硬件环境下，将 PaddleOCR 高效率模型转换为 ONNX 格式，最终的运行效率远不如PaddleOCR。

思考 & 优化

有没有一种办法即提高了识别的效率，同时又可以不会损失精准度呢？测试下来有一种办法，就是 使用PaddleOCR高效率版本转为ONNX -> 转变要识别图片的大小

优化后的代码如下：

import cv2
import time
from onnxocr.onnx_paddleocr import ONNXPaddleOcr,sav2Img
from pathlib import Path

def resize_image(image_path, scale=0.5, max_size=960):
    # 读取图片
    img = cv2.imread(image_path)
    if img is None:
        raise FileNotFoundError(f"图片 {image_path} 不存在！")
    
    # 获取原始宽高
    original_height, original_width = img.shape[:2]
    print(f"原始宽高: {original_width}x{original_height}")
    
    # 首先将宽高按指定比例缩小或放大
    new_width = int(original_width * scale)
    new_height = int(original_height * scale)

    # 如果修改后图片有一边大于 max_size，则进行二次等比缩放
    if max(new_width, new_height) > max_size:
        if new_width > new_height:  # 宽度是最大边
            scale = max_size / new_width
        else:  # 高度是最大边
            scale = max_size / new_height
        new_width = int(new_width * scale)
        new_height = int(new_height * scale)

    print(f"调整后的宽高: {new_width}x{new_height}")

    # 调整图片大小
    resized_img = cv2.resize(img, None, fx=scale, fy=scale, interpolation=cv2.INTER_AREA)

    return resized_img

module_dir = Path(__file__).resolve().parent
ch_model = {
    "det_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/det/ch/det.onnx',
    "rec_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/rec/ch/rec.onnx',
    "cls_model_dir": f'{module_dir}/onnxocr/models/ppocrv4/cls/ch_ppocr_mobile_v2.0_cls.onnx',
    "rec_char_dict_path": f'{module_dir}/onnxocr/models/ppocrv4/rec_char_dict/ppocr_keys_v1.txt',
    "vis_font_path":f'{module_dir}/onnxocr/fonts/simfang.ttf'
}

time1 = time.time()
model = ONNXPaddleOcr(
    use_angle_cls=True, 
    use_gpu=False,
    det_model_dir=ch_model["det_model_dir"],
    rec_model_dir=ch_model["rec_model_dir"],
    cls_model_dir=ch_model["cls_model_dir"],
    rec_char_dict_path=ch_model["rec_char_dict_path"],
    vis_font_path=ch_model["vis_font_path"],
    drop_score=0.1,
    )

resized_img = resize_image(f"../tb-img/img9.webp",0.4)
result = model.ocr(resized_img)
time_count = time.time() - time1

for res in result[0]:
    print(res[1][0],res[1][1])
sav2Img(resized_img, result, "output.jpg")
print(f'------------------------ 总花费时间： {time_count} 秒----------------------')
  • 优化后的 推理结果和用时
    在这里插入图片描述

总结

可以看到经过调整图片整体尺寸大小，使用PaddleOCR高效率版本转为ONNX , 不仅可以提高整体的识别效率，同时又不会损失识别的精度。

大家可以根据自己在实际识别场景所用的图片中文字大小进行 等比缩小或者等比放大

  • 图片中的文字较大：适当缩小图片
  • 图片中的文字较小：适当放大图片

找到适合自己的识别场景的识别规律，即可进行规模化部署。

PaddlePaddle/PaddleOCR 中英文文字识别
钱多多先森
09-06 9659
1.准备工作 GitHub地址：https://github.com/PaddlePaddle/PaddleOCR 1.QUICK INSTALLATION：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/installation_en.md 2.Quick start of Chinese OCR model:https://github.com/PaddlePaddle/PaddleOCR/blob/rel
实现ppocr向onnx的转变
weixin_42421591的博客
11-02 1180
ppocr使用工具paddle2onnx，将检测、方向、识别的推理模型转换成onnx形式
PaddleOCR：超越人眼识别率的AI文字识别神器
m0_59596937的博客
12-12 7929
PaddleOCR是一个可以识别图片中文字的工具，可以将图片中的文字转换成电脑可以认识的文字。简单来说，它的原理是使用深度学习技术，通过训练模型来识别图片中的文字。具体来说，它会通过一系列处理，比如缩放、灰度化、去噪等操作，来提高文字识别的准确率。然后，它会使用深度学习模型来检测图片中的文字区域，并将其转换成电脑可以识别的边界框。最后，它会使用另一个深度学习模型来识别边界框中的文字，并将其转换成电脑可以识别的文字。这样，就可以实现将图片中的文字转换成电脑可以识别的文字的功能了。
OnnxOCR ：通用OCR识别，支持80+语言推断
最新发布
gitblog_00667的博客
04-08 561
OnnxOCR ：通用OCR识别，支持80+语言推断 OnnxOCR 基于PaddleOCR重构，并且脱离PaddlePaddle深度学习训练框架的轻量级OCR，推理速度超快 —— A lightweight OCR system based on PaddleOCR, decoupled from the Pad...
将PaddleOCR 转为 ONNX 运行
qq_16066907的博客
06-26 1882
PaddleOCR 是目前最好的开源OCR框架, 但paddle框架的兼容性实在不怎么好, 部署的时候容易出现各种各样的问题. 如果能把PaddleOCR转成ONNX, 就可以跳过paddle框架坑的同时, 又可以白嫖PaddleOCR的强大检测性能.经过测试，pp_ocr系列模型的预处理和后处理部分是通用的。该项目基于转换后的ppocr_server_v2.0模型，已经完成了文本识别所需的外围数据处理部分。转换为ONNX格式后的模型精度损失情况尚不明确，但从简单的demo来看，模型能够正常进行推理。
[paddlocr]Paddle2ONNX模型转化与预测
futureflsl的博客
06-24 2167
本章节介绍 PaddleOCR 模型如何转化为 ONNX 模型，并基于 ONNXRuntime 引擎预测。
PaddlePaddle的OCR模型转onnx-转rknn模型_笔记4
m0_60657960的博客
02-17 977
【代码】PaddlePaddle的OCR模型转onnx-转rknn模型_笔记4。
关于paddleocr的一些使用注意事项：安装，使用和提高准确度
sheepman2_21的博客
07-04 2461
本文介绍了paddleocr从安装到使用的过程和一些注意事项，旨在为他人使用paddleocr增加一些经验，为新手避免一些坑儿所作。
ocr之opencv配合paddleocr提高识别率
u014642921的博客
03-28 3416
注：如何使用opencv呢？我咨询的大模型【文心一言】。说实话在变成使用方面他还是很在行的。在使用大模型方面我还解除了【抖音】的【豆包】，豆包的效果不是很好，文心还是不错。opencv如何使用对不满意的事情想办法让他变得更好。注：心里一直装着的事终于能够落地了。因为一直装着，也就是放在心上，终归有了解决方案。
加快paddleocr识别速度的方法
qq_42220415的博客
12-14 7000
日常使用paddleocr识别字符时，识别速度是个大问题，有时识别一张图片可能需要耗时2~3秒，完全满足不了使用要求，按照使用经验，可用如下方法减少识别时间。
paddleocr 模型
March_A的博客
04-16 785
需要两个模型作为输入：一个教师模型和一个学生模型。教师模型通常比学生模型要大，更复杂。在训练过程中，我们将输入数据传递给教师模型和学生模型，然后使用教师模型的输出作为目标标签，使用交叉熵损失函数来计算学生模型的损失。这样，学生模型就会尽可能地学习教师模型的知识。它可以帮助我们在训练一个大模型时，将其知识传递给一个小模型，从而使小模型具有大模型相近的性能。使用其他损失函数来指导知识蒸馏，例如MSE（均方误差）损失函数和KLD（KL散度）损失。PaddlePaddle框架中用于知识蒸馏的模型。
视觉学习笔记12——百度飞浆框架的PaddleOCR 安装、标注、训练、测试以及onnx转换
qq_45848817的博客
12-09 5083
飞桨首次开源文字识别模型套件PaddleOCR，目标是打造丰富、领先、实用的文本识别模型/工具库。 PaddleOCR是一个基于飞桨开发的OCR（Optical Character Recognition，光学字符识别）系统。其技术体系包括文字检测、文字识别、文本方向检测和图像处理等模块。
C#+PaddleOCRSharp 实现深度学习识别字符
07-21
 PaddleOCRSharp是基于PaddleOCR的C++代码修改并封装的.NET工具类库，支持文本识别、文本检测、基于文本检测结果的统计分析的表格识别功能。
基于paddleocr+onnxruntime实现车牌识别C++源码+模型.zip
05-09
PaddleOCR是一款由阿里云开发的轻量级、高精度的OCR（Optical Character Recognition，光学字符识别）工具，而ONNXRuntime是微软开源的高性能推理引擎，它支持多种深度学习框架的模型推理。以下将详细介绍这两个技术...
百度飞桨项目PaddleOCR模型文件
12-26
百度飞桨项目PaddleOCR是百度公司研发的一个开源光学字符识别（OCR）工具库，旨在提供高精度、高灵活性、轻量级和易于部署的OCR模型。PaddleOCR V3作为该项目的一个重要版本，包含了多项改进与新特性，使其在名片...
OCR/STR生僻字数据训练 | PaddleOCR的Fine-tune常见问题汇总（3）
Andrwin的博客
09-18 7745
1、印章如何识别？ 使用带tps的识别网络或abcnet,2.使用极坐标变换将图片拉平之后使用crnn 2、多语言的字典里是混合了不同的语种，这个是有什么讲究吗？统一到一个字典里会对精度造成多大的损失？ 统一到一个字典里，会造成最后一层FC过大，增加模型大小。如果有特殊需求的话，可以把需要的几种语言合并字典训练模型，合并字典之后如果引入过多的形近字，可能会造成精度损失，字符平衡的问题可能也需要考虑一下。在PaddleOCR里暂时将语言字典分开。 3、如何对检测模型finetune，比如冻结.
Panddle 识别OCR 模型训练
03-16
嗯，用户想了解PaddleOCR的模型训练，首先我需要回忆一下PaddleOCR的基本信息。PaddleOCR是百度基于PaddlePaddle开发的OCR工具，对吧？支持多种任务，比如文本检测、识别和方向分类。用户可能想知道如何训练自己的...
PaddleOCR实现高精度车牌识别
追求卓越
04-26 4144
PaddleOCR实现高精度车牌识别
关于paddleocr的切换模型
m0_70113685的博客
06-23 3370
打开paddleocr包的位置 Python\Python38\Lib\site-packages\paddleocr，我的在这个路径找到这个python的源码 安装好默认使用的是'PP-OCRv3'，初次安装会自动下载这个模型MODEL_URLS这个变量，记录的是paddleocr用到的模块的下载地址，我的版本是 '2.5.0.3'在58行如果有自己想用到的模型可以在里面添加地址，默认有三个版本的模型'PP-OCR', 'PP-OCRv2', 'PP-OCRv3'， 在parse_args这个函数
fastbot 字节
09-18
fastbot 是字节跳动旗下的一个智能助手，在2021年推出。它具有多项功能，可以为用户提供语音交互、信息搜索、日程管理、天气查询等等服务。 首先，fastbot 的语音交互功能非常强大。它可以听懂用户的语音指令，并通过智能算法进行解析和理解。用户可以通过语音的方式与fastbot 进行对话，非常方便。 其次，fastbot 可以进行信息搜索。用户可以向fastbot 提出问题或者搜索请求，fastbot 会通过搜索引擎或者自有数据库快速找到答案并反馈给用户。这对于用户获取信息非常便捷。 此外，fastbot 还具备日程管理功能。用户可以在fastbot 中设置提醒事项、安排日程，fastbot 会在事项发生之前提醒用户，帮助用户合理安排时间。 最后，fastbot 还可以查询天气。用户可以询问fastbot当天或者未来几天的天气情况，fastbot 会通过调用天气接口提供详细的天气预报，帮助用户合理出行。 总而言之，fastbot 字节是一个功能强大的智能助手，它通过语音交互、信息搜索、日程管理和天气查询等多项功能，可以提供便捷的服务，帮助用户更高效地处理各种事务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值