paddleocr学习笔记（八）训练自己的文字识别数据

最新推荐文章于 2024-04-16 00:09:01 发布
最新推荐文章于 2024-04-16 00:09:01 发布
阅读量5.8k 收藏 32
点赞数 6
分类专栏： PaddleOCR paddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juluwangriyue/article/details/114646580
版权

数据集：/PaddleOCR/doc/doc_ch/datasets.md

数据合成工具：/PaddleOCR/doc/doc_ch/data_synthesis.md

文字识别训练：/PaddleOCR/doc/doc_ch/recognition.md

暂时没有自己的数据，只能用开源数据练手。

根据recognition.md中的说明一步一步地操作，一般训练都是在Linux下操作的，我是在win10下训练的，所以原文档可能有些对我不太适合，可能原文档也有些错误。

1、下载数据

icdar15用于识别的数据集已经下载不到，可以从我的百度网盘下载：链接：https://pan.baidu.com/s/1c_8qzXPeJ6WMd30PaHx8LA 
提取码：s1wk 

其中的图片虽然后缀是.jpg其实是png文件，需要自己用脚本修改后缀为png。

脚本如下：

ren *.jpg *.png

比如起个名字叫rename.bat，放到图片文件夹下，双击执行，就会将.jpg后缀的文件重命名为.png后缀的文件。

 

PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件，通过以下方式下载：

# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt

最终训练集应有如下文件结构：

|-train_data
    |-ic15_data
        |- rec_gt_train.txt
        |- train
            |- word_001.png
            |- word_002.png
            |- word_003.png
            | ...

同训练集类似，测试集也需要提供一个包含所有图片的文件夹（test）和一个rec_gt_test.txt，测试集的结构如下所示：

|-train_data
    |-ic15_data
        |- rec_gt_test.txt
        |- test
            |- word_001.png
            |- word_002.png
            |- word_003.png
            | ...

2、启动训练

PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以 CRNN 识别模型为例：

首先下载pretrain model，您可以下载训练好的模型在 icdar2015 数据上进行finetune

cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/dygraph_v2.0/en/rec_mv3_none_bilstm_ctc_v2.0_train.tar
# 解压模型参数
cd pretrain_models
tar -xf rec_mv3_none_bilstm_ctc_v2.0_train.tar && rm -rf rec_mv3_none_bilstm_ctc_v2.0_train.tar

开始训练:

如果您安装的是cpu版本，请将配置文件中的 use_gpu 字段修改为false

# GPU训练 支持单卡，多卡训练，通过--gpus参数指定卡号
# 训练icdar15英文数据 训练日志会自动保存为 "{save_model_dir}" 下的train.log
python3 -m paddle.distributed.launch --gpus '0,1,2,3'  tools/train.py -c configs/rec/rec_icdar15_train.yml

由于我是在win10下训练的，并且只有一个显卡，训练脚本如下：

# GPU训练 支持单卡，多卡训练，通过--gpus参数指定卡号
# 训练icdar15英文数据 训练日志会自动保存为 "{save_model_dir}" 下的train.log
python  tools/train.py -c configs/rec/rec_icdar15_train.yml

同时rec_icdar15_train.yml文件中的一些相关路径也是有问题的，需要改成自己实际的路径：

需要注意的是下面三个路径：character_dict_path:、data_dir:、label_file_list:

之前我就遇到过，character_dict_path:路径前面少了一个“./”导致训练时 acc 一直为0.

一些说明：

1、使用了预训练模型，下面的rec_icdar15_train.yml文件中又相应的内容(测试通过)

pretrained_model: ./pretrain_models/rec_mv3_none_bilstm_ctc_v2.0_train/best_accuracy

2、如果不在pretrained_model: 后面添加预训练模型路径，通过命令行使用预训练模型应该也是可以的，参考如下（测试未通过）：

# GPU训练 支持单卡，多卡训练，通过--gpus参数指定卡号
# 训练icdar15英文数据 训练日志会自动保存为 "{save_model_dir}" 下的train.log
python  tools/train.py -c configs/rec/rec_icdar15_train.yml -o Global.pretrain_weights=./pretrain_models/rec_mv3_none_bilstm_ctc_v2.0_train/best_accuracy

 3、字母大写支持，需要两方面的改动，字符集添加大写字母，标签大写字母（未测试）。

参考如下：

Global:
  use_gpu: true
  epoch_num: 720
  log_smooth_window: 20
  print_batch_step: 10
  save_model_dir: ./output/rec/ic15/
  save_epoch_step: 3
  # evaluation is run every 2000 iterations
  eval_batch_step: [0, 2000]
  # if pretrained_model is saved in static mode, load_static_weights must set to True
  cal_metric_during_train: True
  pretrained_model: ./pretrain_models/rec_mv3_none_bilstm_ctc_v2.0_train/best_accuracy
  checkpoints: #./output/rec/ic15/best_accuracy
  save_inference_dir:
  use_visualdl: False
  infer_img: doc/imgs_words_en/word_10.png
  # for data or label process
  character_dict_path: ./ppocr/utils/ic15_dict.txt
  character_type: ch
  max_text_length: 25
  infer_mode: False
  use_space_char: False

Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.999
  lr:
    learning_rate: 0.0005
  regularizer:
    name: 'L2'
    factor: 0

Architecture:
  model_type: rec
  algorithm: CRNN
  Transform:
  Backbone:
    name: MobileNetV3
    scale: 0.5
    model_name: large
  Neck:
    name: SequenceEncoder
    encoder_type: rnn
    hidden_size: 96
  Head:
    name: CTCHead
    fc_decay: 0

Loss:
  name: CTCLoss

PostProcess:
  name: CTCLabelDecode

Metric:
  name: RecMetric
  main_indicator: acc

Train:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/ic15_data/
    label_file_list: ["./train_data/ic15_data/rec_gt_train.txt"]
    transforms:
      - DecodeImage: # load image
          img_mode: BGR
          channel_first: False
      - CTCLabelEncode: # Class handling label
      - RecResizeImg:
          image_shape: [3, 32, 100]
      - KeepKeys:
          keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
  loader:
    shuffle: True
    batch_size_per_card: 256
    drop_last: True
    num_workers: 8
    use_shared_memory: False

Eval:
  dataset:
    name: SimpleDataSet
    data_dir: ./train_data/ic15_data/
    label_file_list: ["./train_data/ic15_data/rec_gt_test.txt"]
    transforms:
      - DecodeImage: # load image
          img_mode: BGR
          channel_first: False
      - CTCLabelEncode: # Class handling label
      - RecResizeImg:
          image_shape: [3, 32, 100]
      - KeepKeys:
          keep_keys: ['image', 'label', 'length'] # dataloader will return list in this order
  loader:
    shuffle: False
    drop_last: False
    batch_size_per_card: 256
    num_workers: 4
    use_shared_memory: False

因为使用了预训练模型，acc一上来就比较高

下面是训练时截取的片段：

[2021/04/25 22:55:46] root INFO: epoch: [33/720], iter: 560, lr: 0.000500, loss: 0.326820, acc: 0.968750, norm_edit_dis: 0.986556, reader_cost: 0.07451 s, batch_cost: 0.16704 s, samples: 2560, ips: 1532.54
701
[2021/04/25 22:55:47] root INFO: save model in ./output/rec/ic15/latest
[2021/04/25 22:55:47] root INFO: save model in ./output/rec/ic15/iter_epoch_33
[2021/04/25 22:55:47] root INFO: Initialize indexs of datasets:['./train_data/ic15_data/rec_gt_train.txt']
[2021/04/25 22:55:50] root INFO: epoch: [34/720], iter: 570, lr: 0.000500, loss: 0.256092, acc: 0.968750, norm_edit_dis: 0.989618, reader_cost: 0.07875 s, batch_cost: 0.17310 s, samples: 2560, ips: 1478.88
973
[2021/04/25 22:55:52] root INFO: save model in ./output/rec/ic15/latest
[2021/04/25 22:55:52] root INFO: Initialize indexs of datasets:['./train_data/ic15_data/rec_gt_train.txt']
[2021/04/25 22:55:53] root INFO: epoch: [35/720], iter: 580, lr: 0.000500, loss: 0.221114, acc: 0.972656, norm_edit_dis: 0.992008, reader_cost: 0.02936 s, batch_cost: 0.05761 s, samples: 768, ips: 1333.150
19
[2021/04/25 22:55:56] root INFO: epoch: [35/720], iter: 590, lr: 0.000500, loss: 0.212451, acc: 0.972656, norm_edit_dis: 0.992313, reader_cost: 0.07461 s, batch_cost: 0.16886 s, samples: 2560, ips: 1516.03
996
[2021/04/25 22:55:58] root INFO: save model in ./output/rec/ic15/latest
[2021/04/25 22:55:58] root INFO: Initialize indexs of datasets:['./train_data/ic15_data/rec_gt_train.txt']
[2021/04/25 22:56:00] root INFO: epoch: [36/720], iter: 600, lr: 0.000500, loss: 0.217688, acc: 0.972656, norm_edit_dis: 0.991217, reader_cost: 0.04877 s, batch_cost: 0.10549 s, samples: 1536, ips: 1456.10
046
[2021/04/25 22:56:03] root INFO: epoch: [36/720], iter: 610, lr: 0.000500, loss: 0.230538, acc: 0.972656, norm_edit_dis: 0.990990, reader_cost: 0.07450 s, batch_cost: 0.16910 s, samples: 2560, ips: 1513.88
089
[2021/04/25 22:56:03] root INFO: save model in ./output/rec/ic15/latest
[2021/04/25 22:56:03] root INFO: save model in ./output/rec/ic15/iter_epoch_36
[2021/04/25 22:56:03] root INFO: Initialize indexs of datasets:['./train_data/ic15_data/rec_gt_train.txt']
[2021/04/25 22:56:06] root INFO: epoch: [37/720], iter: 620, lr: 0.000500, loss: 0.200544, acc: 0.976562, norm_edit_dis: 0.991990, reader_cost: 0.07021 s, batch_cost: 0.15514 s, samples: 2304, ips: 1485.15
136

简单的示例跑通就可以替换自己的数据跑识别训练了。

然后单张测试:

# 预测英文结果
python tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.pretrained_model=./output/rec/ic15/latest Global.load_static_weights=false Global.infer_img=./train_data/ic15_data/test/word_10.png

测试结果：

[2021/04/25 22:56:17] root INFO: train with paddle 2.0.0 and device CUDAPlace(0)
W0425 22:56:17.050060  3624 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 6.1, Driver API Version: 10.2, Runtime API Version: 10.2
W0425 22:56:17.062021  3624 device_context.cc:372] device: 0, cuDNN Version: 7.6.
[2021/04/25 22:56:19] root INFO: load pretrained model from ['./output/rec/ic15/latest']
[2021/04/25 22:56:19] root INFO: infer_img: ./train_data/ic15_data/test/word_10.png
[2021/04/25 22:56:19] root INFO:         result: ('pain', 0.99994206)
[2021/04/25 22:56:19] root INFO: success!

实际图片如下，可见识别正确。

落花逐流水
关注
  • 6
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 23
    评论
专栏目录
ocr识别训练工具
02-08
ocr识别 训练自己的字库所需要的工具 1.安装tesseract-ocr-setup-4.0.0-alpha.20180109.exe 一直next ,出现Android选项点击“+”展开勾选语言包 math chinal english 然后下一步，直到结束。 2. https://sourceforge.net/projects/vietocr/files/jTessBoxEditor/ 下载jTessBoxEditor，把安装包放到 Tesseract-OCR 目录下。 3.path 环境变量添加路径：我的是C:\Program Files (x86)\Tesseract-OCR 4.cmd 命令输入：tesseract -v 查看是否成功。 5.文字图片放到：Tesseract-OCR\tessdata目录下 我的是test.jpg 6.进入cmd，进入到要识别的图片的路径下，输入命令：tesseract 图片名称 生成的结果文件的名称 字库。 tesseract test.jpg result -l chi_sim 网站 http://www.cnblogs.com/lcawen/articles/7040005.html tesseract mjorcen.normal.exp0.jpg mjorcen.normal.exp0 -l chi_sim batch.nochop makebox
paddle 图标注_基于Paddle的截图&OCR文字识别的实现
weixin_39726379的博客
11-11 613
一款截图识别文字的OCR工具主要涉及2个环境：截图OCR识别前要OCR的应用场景根据OCR的应用场景而言，我们可以大致分成识别特定场景下的专用OCR以及识别多种场景下的通用OCR。就前者而言，证件识别以及车牌识别就是专用OCR的典型案例。针对特定场景进行设计、优化以达到最好的特定场景下的效果展示。那通用的OCR就是使用在更多、更复杂的场景下，拥有比较好的泛性。在这个过程中由于场景的不确定性，比如：...
PaddleOCR训练自己模型（1）----数据准备
最新发布
m0_48095841的博客
04-16 521
paddleocr训练--数据准备
EditDis（编辑距离模板）
小飞猪的博客
08-07 300
int dp[1005][1005]; /*dp[i][j]表示表示A串从第0个字符开始到第i个字符和B串从第0个 字符开始到第j个字符，这两个字串的编辑距离。字符串的下标从1开始。*/ char a[1005],b[1005]; //a,b字符串从下标1开始 int EditDis() { int len1 = strlen(a+1); int len2 = strlen(b+1); //初始化 for(int i=1;i<=len1;i++)
电表读数识别：数据集补充解决方案对比（TextRender和StyleText）
m0_63642362的博客
04-08 1765
转载自AI Studio 项目链接：https://aistudio.baidu.com/aistudio/projectdetail/3710242?channelType=0&channel=0 0 背景：PaddleOCR的电表识别任务（主线之四） 我国电力行业发展迅速，电表作为测电设备经历了普通电表、预付费电表和智能电表三个阶段的发展，虽然智能电表具有通信功能，但一方面环境和设备使得智能电表具有不稳定性，另一方面非智能电表仍然无法实现自动采集，人工抄表有时往往不可取代。采集到的大量电表图片如
PPOCR - 命令行训练模型基本流程和常用命令+visualdl可视化
DreamingBetter的博客
04-19 1424
本文记录实践中用paddleocr训练自己的模型的基本步骤和常用命令，以detection为例更详细内容请参考官方文档。
[2023/01/07 15:28:16] ppocr INFO: resume from output/rec_chinese_common_v2.0/best_accuracy [2023/01/...
weixin_35755640的博客
01-07 175
这是一段日志，其中包含了一些信息，例如： 模型加载了名为 "rec_chinese_common_v2.0" 的检查点，并且将其设为了最佳精度。 在检查点中的 "acc" 值为 0.0。 在检查点中的 "norm_edit_dis" 值为 2.7777770073011965e-07。 在检查点中的 "fps" 值为 2.7724356030695527。 最佳精度的训练轮数为 75。 当前正在...
paddleocr文本识别模型的训练
热门推荐
didiaopao的博客
10-20 1万+
1、准备数据 训练自己的模型首先要有数据集，在我写的《paddleocr文本检测模型的训练》这篇文章的时候我已经提供了一份数据集，里面包含了文本检测和识别的数据集，由于那篇文章是文本检测的训练，所以只用到了文本检测的数据集，这里我用的是文本识别的数据集，有需要数据的可以去那篇文章里面找数据。文章链接。让我们来直观的感受一下数据集，数据集照片的图片如下所示： 数据的标签如下图所示，就是每行的前面是图片的路径，后面为该图片的标签内容。 这里要注意的是：txt文件中默...
【官方】十分钟完成 PP-OCRv3 识别全流程实战
m0_63642362的博客
05-13 1万+
转自AI Studio，原文链接： 【官方】十分钟完成 PP-OCRv3 识别全流程实战 - 飞桨AI Studio 十分钟完成 PP-OCRv3 识别全流程实战 项目地址：PaddleOCR github 地址：https://github.com/PaddlePaddle/PaddleOCR PaddleOCR是百度开源的超轻量级OCR模型库，提供了数十种文本检测、识别模型，旨在打造一套丰富、领先、实用的文字检测、识别模型/工具库，助力使用者训练出更好的模型，并应用落地。同时PaddleOC.
Paddle笔记：PaddleOCR文字识别，简单实用，默认训练模型识别度不错
Java Punk
10-11 7745
PaddleOCR是百度深度学习框架PaddlePaddle开源的OCR项目，旨在打造一套丰富、领先、且实用的OCR工具库，助力使用者训练出更好的模型，并应用落地。
paddle ocr 训练 验证码
陆安的博客
11-16 4017
1.PPOCRLabel 标注工具 官方文档： https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.3/PPOCRLabel/README_ch.md 1.1.安装pyqt5 本地whl下载路径 https://pypi.tuna.tsinghua.edu.cn/simple/pyqt5/ 1.2.安装本地文件 pip install E:\PaddleOcr\whl\PyQt5-5.15.6-cp36-abi3-win_amd64.whl 1.3
百度paddleocr文字识别调用样例程序
11-14
网上找到的各类paddleocr样例有比较多的错误，不支持较新的paddleocr库。 paddleocr不需要联机，可以离线识别印刷体，识别能力较强，效果和easyocr各有长短。...笔记本一般CPU下对一篇文字的识别在5-10秒之间。
Java数据结构学习笔记
12-18
Java数据结构学习笔记
数据结构学习笔记.docx
12-02
数据结构学习笔记.docx
考研数据结构学习笔记.doc
10-20
考研数据结构学习笔记.doc
基于PaddleOCR的PPOCRLabel工具使用
YY007H的博客
12-01 1292
PPOCRLabel是一款适用于OCR领域的半自动化图形标注工具，内置PP-OCR模型对数据自动标注和重新识别。使用Python3和PyQT5编写，支持矩形框标注、表格标注、不规则文本标注、关键信息标注模式，导出格式可直接用于PaddleOCR检测和识别模型的训练。目前已经将最新的PPOCRLabel工具打包成可执行文件，双击即可使用，目前集成了最新的模型，方便使用。
【精选】OCR精选10个问题 百度paddleocr
人工智能曾小健
10-20 1549
【精选】OCR精选10个问题 Q1.1.1：基于深度学习的文字检测方法有哪几种？各有什么优缺点？ A：常用的基于深度学习的文字检测方法一般可以分为基于回归的、基于分割的两大类，当然还有一些将两者进行结合的方法。 （1）基于回归的方法分为box回归和像素值回归。 a. 采用box回归的方法主要有CTPN、Textbox系列和EAST，这类算法对规则形状文本检测效果较好，但无法准确检测不规则形状文本。 b. 像素值回归的方法主要有CRAFT和SA-Text，这类算法能够检测弯曲文本且对小文本效果优秀但
解读未知：文本识别算法的突破与实际应用
丨汀、的博客
08-30 501
解读未知：文本识别算法的突破与实际应用
Paddle OCR数据集制作
qq_39142273的博客
02-02 659
PPOCRLabel
人脸识别系统学习笔记
08-25
嗨！C知道在这里为您服务。下面是一份关于人脸识别系统学习的笔记： 1. 人脸识别概述： - 人脸识别是一种生物特征识别技术，用于在图像或视频中识别和验证人脸。 - 它可以应用于许多领域，如安全监控、身份验证、社交媒体过滤等。 2. 人脸检测： - 人脸检测是人脸识别的第一步，它用于在图像或视频中定位和定界人脸。 - 常用的人脸检测算法包括Haar级联、HOG（方向梯度直方图）和深度学习方法（如基于卷积神经网络）。 3. 人脸特征提取： - 一旦检测到人脸，接下来的步骤是提取人脸的关键特征，以便进行比对和识别。 - 常用的特征提取方法包括局部二值模式（LBP）、主成分分析（PCA）和深度学习方法（如基于卷积神经网络）。 4. 人脸匹配和识别： - 通过计算两个或多个人脸特征之间的相似度或距离，可以进行人脸匹配和识别。 - 常用的匹配算法包括欧氏距离、余弦相似度和基于深度学习的人脸识别方法（如基于卷积神经网络的人脸识别模型）。 5. 人脸识别应用： - 人脸识别技术在各个领域都有广泛应用，包括安全监控、门禁系统、刑侦取证、社交媒体过滤和人脸支付等。 这些是一些关于人脸识别系统学习的基本笔记。如果您有任何更具体的问题，我将非常乐意为您解答。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值