PaddleOCR中文文本检测任务

最新推荐文章于 2025-03-24 08:46:19 发布
最新推荐文章于 2025-03-24 08:46:19 发布
阅读量2.8k 收藏 18
点赞数
文章标签： 深度学习 python paddlepaddle nlp
原文链接：https://aistudio.baidu.com/aistudio/projectdetail/3360668
版权

0. 项目背景介绍

文本在日常生活中无处不在，其携带着丰富且精确的信息，文本检测任务是找出图像或视频中的文字位置，根据语义背景不同可以分为自然场景文本检测和电子文档文本检测，如今已广泛应用于自动驾驶、网络安全、地理定位等领域。

中文是承载中国文化的重要工具，本项目使用PaddleOCR对中文数据集进行训练，输入给定的中文文本图像，找出文本的区域位置，包含多个常见的训练模型如：DB、EAST、SAST、PSE，可自行选择任意模型开展深度学习的训练。

目标检测和文本检测同属于“定位”问题。但是文本检测无需对目标分类，并且文本形状复杂多样。其难点在于：

  • 自然场景中文本具有多样性：文本检测受到文字颜色、大小、字体、形状、方向、语言、以及文本长度的影响；

  • 复杂的背景和干扰；文本检测受到图像失真，模糊，低分辨率，阴影，亮度等因素的影响；

  • 文本密集甚至重叠会影响文字的检测；

  • 文字存在局部一致性，文本行的一小部分，也可视为是独立的文本；

1. 准备数据和模型

1.1 安装PaddleOCR

https://github.com/PaddlePaddle/PaddleOCR

#下载PaddleOCR
!git clone https://gitee.com/paddlepaddle/PaddleOCR

#安装配置文件
%cd PaddleOCR
!pip install --upgrade pip
!pip install -r "requirements.txt" -i https://mirror.baidu.com/pypi/simple

#加快评估速度
!pip3 install lanms-nova

1.2 det_data_lesson_demo数据集

det_data_lesson_demo数据集是中文文本检测通用数据集，包含3009张训练图像和3009张测试图像，场景分别为街景图片、商用广告和电子文档，数据集目录如下所示：

|---lsvt
    |---train
    |---eval
|---mtwi
    |---train
    |---eval
|---xfun
    |---train
    |---val
    |---zh_det_train.txt
    |---zh_det_val.txt
eval.txt
train.txt

数据集下载链接：
https://paddleocr.bj.bcebos.com/dataset/det_data_lesson_demo.tar

截取部分图像

1.2.1 lsvt-街景图片

1.2.2 mtwi-商用广告

1.2.3 xfun-电子文档

#下载数据集det_data_lesson_demo
!wget https://paddleocr.bj.bcebos.com/dataset/det_data_lesson_demo.tar
!tar -xvf det_data_lesson_demo.tar
!mkdir train_data
!mv det_data_lesson_demo ./train_data/
!rm det_data_lesson_demo.tar

1.3 文本检测预训练模型

模型名称模型简介配置文件推理模型大小下载地址
ch_PP-OCRv2_det_slim【最新】slim量化+蒸馏版超轻量模型，支持中英文、多语种文本检测ch_PP-OCRv2_det_cml.yml3M推理模型
ch_PP-OCRv2_det【最新】原始超轻量模型，支持中英文、多语种文本检测ch_PP-OCRv2_det_cml.yml3M推理模型 / 训练模型
ch_ppocr_mobile_slim_v2.0_detslim裁剪版超轻量模型，支持中英文、多语种文本检测ch_det_mv3_db_v2.0.yml2.6M推理模型
ch_ppocr_mobile_v2.0_det原始超轻量模型，支持中英文、多语种文本检测ch_det_mv3_db_v2.0.yml3M推理模型 / 训练模型
ch_ppocr_server_v2.0_det通用模型，支持中英文、多语种文本检测，比超轻量模型更大，但效果更好ch_det_res18_db_v2.0.yml47M推理模型 / 训练模型
#下载预训练模型ch_ppocr_server_v2.0_det_train
!wget https://paddleocr.bj.bcebos.com/dygraph_v2.0/ch/ch_ppocr_server_v2.0_det_train.tar
!tar -xvf ch_ppocr_server_v2.0_det_train.tar
!mkdir pretrain_models
!mv ch_ppocr_server_v2.0_det_train ./pretrain_models/ch_ppocr_server_v2.0_det_train
!rm ch_ppocr_server_v2.0_det_train.tar

2.开始启动训练

2.1 启动训练

PaddleOCR有两种配置文件方式

-c指定配置文件路径

-o修改配置文件参数

配置文件参数介绍查询链接

至尊GPU训练环境，Tesla V100显存32GB，效果拉满。

#消除warning报错
import warnings
warnings.filterwarnings('ignore')

#DB
!python tools/train.py -c configs/det/det_r50_vd_db.yml \
    -o Global.use_visualdl=True \
    Global.epoch_num=100    \
    Global.save_epoch_step=10   \
    Global.eval_batch_step=[0,200]   \
    Global.print_batch_step=20  \
    Global.pretrained_model='./pretrain_models/ch_ppocr_server_v2.0_det_train/best_accuracy.pdparams'  \
    Train.dataset.data_dir='./train_data/det_data_lesson_demo/' \
    Train.dataset.label_file_list=['./train_data/det_data_lesson_demo/train.txt']   \
    Train.loader.batch_size_per_card=16 \
    Train.loader.num_workers=0  \
    Eval.dataset.data_dir='./train_data/det_data_lesson_demo/'  \
    Eval.dataset.label_file_list=['./train_data/det_data_lesson_demo/eval.txt'] \
    Eval.loader.batch_size_per_card=1   \
    Eval.loader.num_workers=0   \

#EAST
!python tools/train.py -c configs/det/det_r50_vd_east.yml   \
    -o Global.use_visualdl=True \
    Global.epoch_num=100    \
    Global.save_epoch_step=10   \
    Global.eval_batch_step=[0,200]   \
    Global.print_batch_step=20  \
    Global.pretrained_model='./pretrain_models/ch_ppocr_server_v2.0_det_train/best_accuracy.pdparams'  \
    Train.dataset.data_dir='./train_data/det_data_lesson_demo/' \
    Train.dataset.label_file_list=['./train_data/det_data_lesson_demo/train.txt']   \
    Train.loader.batch_size_per_card=16 \
    Train.loader.num_workers=0  \
    Eval.dataset.data_dir='./train_data/det_data_lesson_demo/'  \
    Eval.dataset.label_file_list=['./train_data/det_data_lesson_demo/eval.txt'] \
    Eval.loader.batch_size_per_card=1   \
    Eval.loader.num_workers=0   \

#SAST
!python tools/train.py -c configs/det/det_r50_vd_sast_icdar15.yml   \
    -o Global.use_visualdl=True \
    Global.epoch_num=100    \
    Global.save_epoch_step=10   \
    Global.eval_batch_step=[0,200]   \
    Global.print_batch_step=20  \
    Global.pretrained_model='./pretrain_models/ch_ppocr_server_v2.0_det_train/best_accuracy.pdparams'  \
    Train.dataset.data_dir='./train_data/det_data_lesson_demo/' \
    Train.dataset.label_file_list=['./train_data/det_data_lesson_demo/train.txt']   \
    Train.dataset.ratio_list=[1.0]  \
    Train.loader.batch_size_per_card=16 \
    Train.loader.num_workers=0 \
    Eval.dataset.data_dir='./train_data/det_data_lesson_demo/'  \
    Eval.dataset.label_file_list=['./train_data/det_data_lesson_demo/eval.txt'] \
    Eval.loader.batch_size_per_card=1   \
    Eval.loader.num_workers=0   \

#PSE
!python tools/train.py -c configs/det/det_r50_vd_pse.yml   \
    -o Global.use_visualdl=True \
    Global.epoch_num=100    \
    Global.save_epoch_step=10   \
    Global.eval_batch_step=[0,200]   \
    Global.print_batch_step=20  \
    Global.pretrained_model='./pretrain_models/ch_ppocr_server_v2.0_det_train/best_accuracy.pdparams'  \
    Train.dataset.data_dir='./train_data/det_data_lesson_demo/' \
    Train.dataset.label_file_list=['./train_data/det_data_lesson_demo/train.txt']   \
    Train.loader.batch_size_per_card=16 \
    Train.loader.num_workers=0  \
    Eval.dataset.data_dir='./train_data/det_data_lesson_demo/'  \
    Eval.dataset.label_file_list=['./train_data/det_data_lesson_demo/eval.txt'] \
    Eval.loader.batch_size_per_card=1   \
    Eval.loader.num_workers=0   \

2.2 断点训练

如果训练程序中断，如果希望加载训练中断的模型从而恢复训练，可以通过指定Global.checkpoints指定要加载的模型路径：

python3 tools/train.py -c configs/det/det_mv3_db.yml -o Global.checkpoints=./your/trained/model

注意：Global.checkpoints的优先级高于Global.pretrained_model的优先级，即同时指定两个参数时，优先加载Global.checkpoints指定的模型，如果Global.checkpoints指定的模型路径有误，会加载Global.pretrained_model指定的模型。

#需自行修改参数
!python tools/train.py -c config.yml -o Global.checkpoints=./best_accuracy.pdparams

2.3 训练结果

On the ICDAR2015 dataset, the text detection result is as follows:

ModelBackbonePrecisionRecallHmeanDownload link
EASTResNet50_vd85.80%86.71%86.25%trained model
EASTMobileNetV379.42%80.64%80.03%trained model
DBResNet50_vd86.41%78.72%82.38%trained model
DBMobileNetV377.29%73.08%75.12%trained model
SASTResNet50_vd91.39%83.77%87.42%trained model
PSEResNet50_vd85.81%79.53%82.55%trianed model
PSEMobileNetV382.20%70.48%75.89%trianed model

3. 模型评估与预测

3.1 模型评估

PaddleOCR计算三个OCR检测相关的指标，分别是：Precision、Recall、Hmean（F-Score）。

训练中模型参数默认保存在Global.save_model_dir目录下。在评估指标时，需要设置Global.checkpoints指向保存的参数文件。

#DB
!python tools/eval.py -c output/det_r50_vd/config.yml -o Global.checkpoints='output/det_r50_vd/best_accuracy.pdparams'

#EAST
!python tools/eval.py -c output/east_r50_vd/config.yml -o Global.checkpoints='output/east_r50_vd/iter_epoch_50.pdparams'

#SAST
!python tools/eval.py -c output/sast_r50_vd_ic15/config.yml -o Global.checkpoints='output/sast_r50_vd_ic15/best_accuracy.pdparams'

#PSE
!python tools/eval.py -c output/det_r50_vd_pse/config.yml -o Global.checkpoints='output/det_r50_vd_pse/best_accuracy.pdparams'

3.2 模型预测

预测单张图片

python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \
    -o Global.infer_img="./doc/imgs_en/img_10.jpg"\
    Global.checkpoints="./output/det_db/best_accuracy"

预测文件夹下所有图片

python3 tools/infer_det.py -c configs/det/det_mv3_db.yml \
    -o Global.infer_img="./doc/imgs_en/"\
    Global.checkpoints="./output/det_db/best_accuracy"

预测结果图片保存在路径’PaddleOCR/output/det_db/det_results/'下：

PaddleOCR/output/det_db/det_results/lsvt.jpg

PaddleOCR/output/det_db/det_results/mtwi.jpg

PaddleOCR/output/det_db/det_results/xfun.jpg

!python3 tools/infer_det.py -c ../parameter/det_mv3_db.yml -o Global.infer_img='../image/' Global.checkpoints='../parameter/det_mv3_db.pdparams'

#原图像
import cv2
import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=(15, 5))

det_img = cv2.imread('../image/lsvt.jpg')
plt.subplot(1, 3, 1)
plt.imshow(det_img)
plt.title('lsvt')
plt.axis('off')

det_img = cv2.imread('../image/mtwi.jpg')
plt.subplot(1, 3, 2)
plt.imshow(det_img)
plt.title('mtwi')
plt.axis('off')

det_img = cv2.imread('../image/xfun.jpg')
plt.subplot(1, 3, 3)
plt.imshow(det_img)
plt.title('xfun')
plt.axis('off')

(-0.5, 2479.5, 3507.5, -0.5)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-utCgwWHd-1642222782276)(output_28_1.png)]

3.2.1 lsvt预测结果

3.2.2 mtwi预测结果

3.2.3 xfun预测结果

3.3 模型推理

inference 模型（paddle.jit.save保存的模型） 一般是模型训练，把模型结构和模型参数保存在文件中的固化模型，多用于预测部署场景。 训练过程中保存的模型是checkpoints模型，保存的只有模型的参数，多用于恢复训练等。 与checkpoints模型相比，inference 模型会额外保存模型的结构信息，在预测部署、加速推理上性能优越，灵活方便，适合于实际系统集成。

#DB
!python tools/export_model.py -c output/det_r50_vd/config.yml \
    -o Global.checkpoints='output/det_r50_vd/best_accuracy.pdparams'   \
    Global.save_inference_dir='output/det_r50_vd/inference/'

!python tools/eval.py -c output/det_r50_vd/config.yml \
    -o Global.checkpoints='output/det_r50_vd/inference/inference.pdiparams'

#EAST
!python tools/export_model.py -c output/east_r50_vd/config.yml \
    -o Global.checkpoints='output/east_r50_vd/best_accuracy.pdparams'   \
    Global.save_inference_dir='output/east_r50_vd/inference/'

!python tools/eval.py -c output/east_r50_vd/config.yml \
    -o Global.checkpoints='output/east_r50_vd/inference/inference.pdiparams'

#SAST
!python tools/export_model.py -c output/sast_r50_vd_ic15/config.yml \
    -o Global.checkpoints='output/sast_r50_vd_ic15/best_accuracy.pdparams'   \
    Global.save_inference_dir='output/sast_r50_vd_ic15/inference/'

!python tools/eval.py -c output/sast_r50_vd_ic15/config.yml \
    -o Global.checkpoints='output/sast_r50_vd_ic15/inference/inference.pdiparams'

#PSE
!python tools/export_model.py -c output/det_r50_vd_pse/config.yml \
    -o Global.checkpoints='output/det_r50_vd_pse/best_accuracy.pdparams'   \
    Global.save_inference_dir='output/det_r50_vd_pse/inference/'

!python tools/eval.py -c output/det_r50_vd_pse/config.yml \
    -o Global.checkpoints='output/det_r50_vd_pse/inference/inference.pdiparams'

4. 总结与提升

PP-OCR系统及优化策略

PP-OCRv2预测部署实战

本项目使用PaddleOCR对中文文本数据集进行检测，采用预训练加微调的方式进行模型训练，开始阶段评价指标hmean从0开始缓慢提升，训练过程中如果发现评估时间过长，可以在训练轮次到50之后开始评估，hmean基本可以达到[0.4, 0.6]这个区间，想进一步提升精度可以尝试如下配置方式。

Architecture:                       # 模型结构定义
  model_type: det
  algorithm: DB
  Transform:
  Backbone:
    name: MobileNetV3               # 配置骨干网络
    scale: 0.5
    model_name: large
    disable_se: True                # 去除SE模块
  Neck:
    name: DBFPN                     # 配置DBFPN
    out_channels: 96                # 配置 inner_channels
  Head:
    name: DBHead
    k: 50

Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.999
  lr:
    name: Cosine                   # 配置cosine学习率下降策略
    learning_rate: 0.001           # 初始学习率
    warmup_epoch: 2                # 配置学习率预热策略
  regularizer:
    name: 'L2'                     # 配置L2正则
    factor: 0                      # 正则项的权重
  • 👋 Hi, I’m chenpan
  • 🌱 I’m currently studying Deep Learning
  • 👀 I’m interested in Computer Vision
  • 💞️ Huazhong University of Science and Technology
  • 📫 Studying with me:
    AI Studio and CSDN
AI Studio
关注
PaddleOCR识别框架解读[05] 文本检测det模型构建
我是天才很好
03-07 542
PaddleOCR识别框架解读[05] 文本检测det模型构建
PaddleOCR 文字检测/文字块检测的模型训练过程，DBnet的前处理和后处理流程损失函数
q742971636的博客
03-16 4141
该方法返回一个包含增强后的关键点的 imgaug.KeypointsOnImage 对象，然后将这些点的坐标转换回原始多边形的形式，最后返回增强后的多边形。首先，通过调用 crop_area 函数计算出一个合适的裁剪区域，该函数会根据输入的 all_care_polys 参数（即所有不被标记为忽略的文本框）和裁剪区域的最小边长比例 min_crop_side_ratio，随机生成多个裁剪区域并返回其中包含至少一个文本框的那个区域。增强器对象首先被转换为确定性的，然后对输入图像进行增强，返回增强后的图像。
PaddleOCR文字检测模型训练
BurningSilence
11-23 4363
PaddleOCR文字检测模型训练 本文档主要介绍PaddleOCR中文字检测模型的训练、评估及测试。 数据准备 自标注数据 将所有训练图片放在icdar_c4_train_imgs文件夹下，所有测试图片放在ch4_test_images目录下，以免多次标注产生多次修改代码问题。 将所有图片格式统一改成.jpg或者统一改成.png，目标为图片保持统一格式。 将标注生成的XML文件放在一个目录中，训练数据XML和测试数据XML分开。 然后执行下面的代码，把其中的xml_dir、train_file_nam
PaddleOCR文字检测、标注与识别详细记录
热门推荐
AI浩
04-13 1万+
PP-OCR文字检测与识别 一、配置Paddle环境 创建虚拟环境 conda create --name pp python=3.7 创建完成后激活环境 conda activate pp 登录飞桨的官网下载最新的paddle，官网地址：飞桨PaddlePaddle-源于产业实践的开源深度学习平台 选择合适的CUDA版本，然后会在下面生成对应的命令。 然后，复制命令即可 conda install paddlepaddle-gpu==2.2.2 cudatoolkit=11.2 -c https
PaddleOCR图像OCR识别提取文本
最新发布
Leon_Jinhai_Sun的博客
03-24 126
PaddleOCR图像OCR识别提取文本
检测中文
孤剑之家
06-13 1855
项目中有一个地方需要检测用户的输入，而且客户要求不能输入中文。限制只能输入中文的方法比较多，主要是以下的方法：1、检测每个字符的Ascii ，判断是否在 255 以内；2、用正则表达式。eg： [^/x00-/xff]以下就是用 2 来实现的： using System;using System.Collections.Generic;using System.Text;usi
PaddleOCR：文本检测/识别模型训练、模型推理实操
lythinking的博客
05-07 3356
🚀🌟基于（实用的超轻量级OCR系统，支持80多种语言识别，提供数据标注和合成工具，支持在服务器、移动、嵌入式和物联网设备之间训练和部署）
基于paddleocr的文本检测
m0_73542617的博客
01-16 996
最后一行是源，可以提高下载速度，第二行的需要自己去github官网下载他最新的包,链接如下。
python基于PaddleOCR的文本识别GUI程序
java_marvel的博客
01-20 380
python 基于PaddleOCR的图像识别程序
基于PaddleOCR车牌号检测模型
05-14
这些模型利用了丰富的特征提取网络，如ResNet、MobileNet等，能够在不同尺度上捕获文本特征，确保即便是在复杂背景或者小尺寸的车牌也能被有效检测出来。 一旦候选区域被确定，接下来就是字符识别。PaddleOCR通常...
OCR文本检测模型：FCENet论文阅读笔记
DU_YULIN的博客
09-20 7083
文章目录前言摘要（Abstract)1. 介绍（Introduction)2. 相关工作（Related Work)3. 方法（Approach）3.1 傅里叶轮廓嵌入（Fourier Contour Embedding)总结 前言 最近在查找OCR开源项目时，发现了商汤公司的MMOCR,它和百度公司的PaddleOCR一样都是用于OCR文本检测和识别的开源框架，里面也集成了很多当下比较优秀的检测与识别模型，比如DBNet, CRNN等。之前有用过PaddleOCR，还真没用过MMOCR。出于好奇，研究了
人工智能学习--文本检测实践
GGY1102的博客
03-16 1375
注释：文本检测 和 文本识别是两回事。 可能现在已经有 end-to-end的深度神经网络可以将文本检测和识别一起实现，这个要去搜相关的sci论文。 文本检测，是从一张图片中找到文字区域，并用矩形框标注出来。 不做识别的功能。 文本识别，前提是假设已经有文本框的内容，对这些内容实现文字识别。 转自：https://my.oschina.net/u/876354/blog/3054322 并加以小修改，供学习参考。 文字检测是文字识别过程中的一个非常重要的环节，文字检测的主要目标是将图片...
NLP小白入门——超全中文文本分类系统（含训练及测试数据集）
04-08
NLP小白入门——超全中文文本分类系统（train set & test set + stop word*4 + word2vec + TF-IDF + Naive Bayes）
PaddleOCR核心源码研究（二）TextDetector类详解
Eric_Hxy的专栏
11-23 1173
PaddleOCR的文本检测类TextDetector详解，介绍__init__与__call__方法，并通过三个代码实验举例说明文本检测结果的应用。
快速使用PaddleOCR进行字符检测
HanWenKing的博客
08-08 1000
OCR字符识别技术是一种将各种形式的文字信息从图像中提取出来的技术。它通过扫描或拍摄含有文字的图像，然后使用复杂的算法来分析和识别图像中的文字形状，最终将这些形状转换成可编辑的文本数据。图像预处理：首先，OCR技术会对输入的图像进行预处理，去除噪点、调整对比度、二值化等，使得文字更加清晰，便于后续识别。这就像是将一张模糊的照片进行编辑，使其变得更加清晰。文字检测：接下来，OCR技术会在处理后的图像中检测文字区域。这就像是用放大镜在图片上寻找文字所在的位置，将它们一一标记出来。
【从零开始系列】最新版Paddle（PaddleOCR系列）——第一部分：文本检测和识别模型的环境安装与基础使用
qq_58718853的博客
10-14 4676
本篇记录最新Paddle的OCR系列环境配置和基本的使用方式
文字识别（OCR）专题——基于NCNN轻量级PaddleOCRv4模型C++推理
知来者逆的博客
12-01 1万+
使用NCNN对paddle ocr v4进行推理，多平台兼容，可使用GPU。
PaddleOCR识别框架解读[07] 文本检测--从训练到部署全流程
我是天才很好
03-08 391
PaddleOCR识别框架解读[07] 文本检测--从训练到部署全流程
AI实战：2019、2020最新的中文文本检测检测模型
Zack的博客
11-07 2635
2019、2020最新的中文文本检测检测模型 1、DBNet（Real-time Scene Text Detection with Differentiable Binarization） 论文地址：https://arxiv.org/pdf/1911.08947.pdf 作者：华中科技大学 Minghui Liao 1∗ , Zhaoyi Wan 2∗ , Cong Yao 2 , Kai Chen 3,4 , Xiang Bai 1 网络结构 创新点 在基于分割的文本检测网络中，最终
使用PaddleOCR提供的文本检测预训练模型进行fine-tuning
04-23
实现文本检测的过程中，需要先进行数据集的准备和标注，然后使用PaddleOCR提供的文本检测预训练模型进行fine-tuning。具体的操作可以参考PaddleOCR官方文档中的教程。在fine-tuning的过程中，可以通过调整超参数和使用不同的数据增强方法来提升模型的准确率。最后，可以使用训练好的模型进行文本检测任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值