PaddleOCR使用笔记之模型训练

最新推荐文章于 2025-03-24 14:38:31 发布
最新推荐文章于 2025-03-24 14:38:31 发布
阅读量9.2k 收藏 108
点赞数 16
分类专栏： 计算机视觉 文章标签： 自然语言处理 深度学习 PaddleOCR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn1e/article/details/113317755
版权
本文详细介绍了PaddleOCR的模型训练流程，包括文本检测、识别、角度分类及三者联合推理，涵盖了预训练模型下载、数据准备、训练步骤和模型评估测试等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

简介

PaddleOCR算法主要包含三个部分，分别是：

  • DB文本检测(detection)
  • 检测框矫正(classification)
  • CRNN文本识别(recognition)

在训练时，这三个模型单独进行训练，得到三个模型的训练权重，在推理预测时会把三个模型整合在一起，即PaddleOCR推理模型的最终结果是由上述三个模型串联推理而得，推理步骤大致如下：

  • 第一步，进行文本检测，得到文本位置的检测框；
  • 第二步，根据得到的文本检测框对其进行角度分类；
  • 第三步，进行文本识别。

模型训练

步骤一：文本检测模型(detection)

以文本检测模型(detection)为例，进行训练

1.准备训练数据集

icdar2015数据集可以从官网下载到，首次下载需注册。

将下载到的数据集解压到工作目录下，假设解压在 PaddleOCR/train_data/ 下。另外，PaddleOCR将零散的标注文件整理成单独的标注文件，您可以通过wget的方式进行下载。

# 在PaddleOCR路径下
cd PaddleOCR/
wget -P ./train_data/  https://paddleocr.bj.bcebos.com/dataset/train_icdar2015_label.txt
wget -P ./train_data/  https://paddleocr.bj.bcebos.com/dataset/test_icdar2015_label.txt

PaddleOCR 也提供了数据格式转换脚本(该脚本的目的就是将零散的标注文件整理为一个单独的文件)，可以将官网 label 转换支持的数据格式。 数据转换工具在 ppocr/utils/gen_label.py, 这里以训练集为例：

# 将官网下载的标签文件转换为 train_icdar2015_label.txt
python gen_label.py --mode="det" --root_path="icdar_c4_train_imgs/"  \
                    --input_path="ch4_training_localization_transcription_gt" \
                    --output_label="train_icdar2015_label.txt"

解压数据集和下载标注文件后，PaddleOCR/train_data/ 有两个文件夹和两个文件，分别是：

/PaddleOCR/train_data/icdar2015/text_localization/
  └─ icdar_c4_train_imgs/         icdar数据集的训练数据
  └─ ch4_test_images/             icdar数据集的测试数据
  └─ train_icdar2015_label.txt    icdar数据集的训练标注
  └─ test_icdar2015_label.txt     icdar数据集的测试标注

提供的标注文件格式如下，中间用"\t"分隔：

" 图像文件名                    json.dumps编码的图像标注信息"
ch4_test_images/img_61.jpg    [{"transcription": "MASA", "points": [[310, 104], [416, 141], [418, 216], [312, 179]]}, {...}]

json.dumps编码前的图像标注信息是包含多个字典的list，字典中的 points 表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。
transcription 表示当前文本框的文字，当其内容为“###”时，表示该文本框无效，在训练时会跳过。

如果您想在其他数据集上训练，可以按照上述形式构建标注文件。

2.下载预训练模型

模型介绍

PaddleOCR开源的文本检测算法列表：

在ICDAR2015文本检测公开数据集上，算法效果如下：

模型骨干网络precisionrecallHmean下载链接
EASTResNet50_vd85.80%86.71%86.25%下载链接
EASTMobileNetV379.42%80.64%80.03%下载链接
DBResNet50_vd86.41%78.72%82.38%下载链接
DBMobileNetV377.29%73.08%75.12%下载链接
SASTResNet50_vd91.39%83.77%87.42%下载链接

在Total-text文本检测公开数据集上，算法效果如下：

模型骨干网络precisionrecallHmean下载链接
SASTResNet50_vd89.63%78.44%83.66%下载链接

说明： SAST模型训练额外加入了icdar2013、icdar2017、COCO-Text、ArT等公开数据集进行调优。PaddleOCR用到的经过整理格式的英文公开数据集下载：百度云地址 (提取码: 2bpi)

下载预训练模型

PaddleOCR的检测模型目前支持两种骨干网络，分别是MobileNetV3、ResNet_vd系列，您可以根据需求使用PaddleClas中的模型更换骨干网络。

cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar

# 或，下载ResNet18_vd的预训练模型
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet18_vd_pretrained.tar

# 或，下载ResNet50_vd的预训练模型
wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/ResNet50_vd_ssld_pretrained.tar

# 解压预训练模型文件，以MobileNetV3为例
tar -xf ./pretrain_models/MobileNetV3_large_x0_5_pretrained.tar ./pretrain_models/

# 注：正确解压backbone预训练权重文件后，文件夹下包含众多以网络层命名的权重文件，格式如下：
./pretrain_models/MobileNetV3_large_x0_5_pretrained/
  └─ conv_last_bn_mean
  └─ conv_last_bn_offset
  └─ conv_last_bn_scale
  └─ conv_last_bn_variance
  └─ ......

3. 开始训练

如果您安装的是cpu版本，请将配置文件中的 use_gpu 字段修改为false

# 单机单卡训练 mv3_db 模型
python tools/train.py -c configs/det/det_mv3_db.yml -o Global.pretrain_weights=./pretrain_models/MobileNetV3_large_x0_5_pretrained/
# 单机多卡训练，通过 --gpus 参数设置使用的GPU ID；如果使用的paddle版本小于2.0rc1，请使用'--select_gpus'参数选择要使用的GPU
python -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/det/det_mv3_db.yml -o Global.pretrain_weights=./pretrain_models/MobileNetV3_large_x0_5_pretrained/

上述指令中，通过-c 选择训练使用configs/det/det_db_mv3.yml配置文件。
有关配置文件的详细解释，请参考链接。

您也可以通过-o参数在不需要修改yml文件的情况下，改变训练的参数，比如，调整训练的学习率为0.0001

python tools/train.py -c configs/det/det_mv3_db.yml -o Optimizer.base_lr=0.0001
断点训练

如果训练程序中断，如果希望加载训练中断的模型从而恢复训练，可以通过指定Global.checkpoints指定要加载的模型路径：

python tools/train.py -c configs/det/det_mv3_db.yml -o Global.checkpoints=./your/trained/model

注意：Global.checkpoints的优先级高于Global.pretrain_weights的优先级，即同时指定两个参数时，优先加载Global.checkpoints指定的模型，如果Global.checkpoints指定的模型路径有误，会加载Global.pretrain_weights指定的模型。

4.模型评估

PaddleOCR计算三个OCR检测相关的指标，分别是：Precision、Recall、Hmean。

运行如下代码，根据配置文件det_db_mv3.yml中save_res_path指定的测试集检测结果文件，计算评估指标。

评估时设置后处理参数box_thresh=0.5，unclip_ratio=1.5，使用不同数据集、不同模型训练，可调整这两个参数进行优化
训练中模型参数默认保存在Global.save_model_dir目录下。在评估指标时，需要设置Global.checkpoints指向保存的参数文件。

python3 tools/eval.py -c configs/det/det_mv3_db.yml  -o Global.checkpoints="{path/to/weights}/best_accuracy" PostProcess.box_thresh=0.5 PostProcess.unclip_ratio=1.5

注：box_thresh、unclip_ratio是DB后处理所需要的参数，在评估EAST模型时不需要设置

5.模型测试

测试单张图像的检测效果

python tools/infer_det.py -c configs/det/det_mv3_db.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg" Global.pretrained_model="./output/det_db/best_accuracy" Global.load_static_weights=false

测试DB模型时，调整后处理阈值，

python tools/infer_det.py -c configs/det/det_mv3_db.yml -o Global.infer_img="./doc/imgs_en/img_10.jpg" Global.pretrained_model="./output/det_db/best_accuracy" Global.load_static_weights=false PostProcess.box_thresh=0.6 PostProcess.unclip_ratio=1.5

测试文件夹下所有图像的检测效果

python3 tools/infer_det.py -c configs/det/det_mv3_db.yml -o Global.infer_img="./doc/imgs_en/" Global.pretrained_model="./output/det_db/best_accuracy" Global.load_static_weights=false

6.训练模型转inference模型

截止到目前，我们得到了文本检测的训练模型，并对其进行了测试，但这并不是最终的推理模型，需要进行转换，以MobileNetV3为backbone训练的DB算法为例，将训练好的模型转换成inference模型只需要运行如下命令：

# -c 后面设置训练算法的yml配置文件
# -o 配置可选参数
# Global.pretrained_model 参数设置待转换的训练模型地址，不用添加文件后缀 .pdmodel，.pdopt或.pdparams。
# Global.load_static_weights 参数需要设置为 False。
# Global.save_inference_dir参数设置转换的模型将保存的地址。

python3 tools/export_model.py -c configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml -o Global.pretrained_model=./ch_lite/ch_ppocr_mobile_v2.0_det_train/best_accuracy Global.load_static_weights=False Global.save_inference_dir=./inference/det_db/

步骤二：文本识别模型(recognition)

1.准备训练数据集

PaddleOCR 支持两种数据格式:

  • lmdb 用于训练公开数据，调试算法;
  • 通用数据 训练自己的数据:
数据下载

训练数据的默认存储路径是 PaddleOCR/train_data,如果您的磁盘上已有数据集，Windows系统需要将数据集拷贝至对应位置，Linux只需创建软链接至数据集目录：

ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/dataset

若您本地没有数据集，可以在官网下载 icdar2015 数据，用于快速验证。也可以参考DTRB，下载 benchmark 所需的lmdb格式数据集。

数据集划分

若您希望使用自己的数据进行训练，请参考下文组织您的数据。

  • 训练集

首先请将训练图片放入同一个文件夹（train_images），并用一个txt文件（rec_gt_train.txt）记录图片路径和标签。

注意： 默认请将图片路径和图片标签用\t 分割，如用其他方式分割将造成训练报错

" 图像文件名                 图像标注信息 "
train_data/train_0001.jpg   简单可依赖
train_data/train_0002.jpg   用科技让复杂的世界更简单

PaddleOCR 提供了一份用于训练 icdar2015 数据集的标签文件，通过以下方式下载：

# 训练集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_train.txt
# 测试集标签
wget -P ./train_data/ic15_data  https://paddleocr.bj.bcebos.com/dataset/rec_gt_test.txt

PaddleOCR 也提供了数据格式转换脚本，可以将官网 label 转换支持的数据格式。 数据转换工具在 ppocr/utils/gen_label.py, 这里以训练集为例：

# 将官网下载的标签文件转换为 rec_gt_label.txt
python gen_label.py --mode="rec" --input_path="{path/of/origin/label}" --output_label="rec_gt_label.txt"

注意，为了和文本检测使用同一个数据集(文本检测使用官方标注工具PPLabel标注而得)，在本步骤使用官方提供的转换文件，发现无法实现该目的。解决办法

最终训练集应有如下文件结构：

|-train_data
    |-ic15_data
        |- rec_gt_train.txt
        |- train
            |- word_001.png
            |- word_002.jpg
            |- word_003.jpg
            | ...
  • 测试集

同训练集类似，测试集也需要提供一个包含所有图片的文件夹（test）和一个rec_gt_test.txt，测试集的结构如下所示：

|-train_data
    |-ic15_data
        |- rec_gt_test.txt
        |- test
            |- word_001.jpg
            |- word_002.jpg
            |- word_003.jpg
            | ...
  • 字典

最后需要提供一个字典（{word_dict_name}.txt），使模型在训练时，可以将所有出现的字符映射为字典的索引。

因此字典需要包含所有希望被正确识别的字符，{word_dict_name}.txt需要写成如下格式，并以 utf-8 编码格式保存：

l
d
a
d
r
n

word_dict.txt 每行有一个单字，将字符与数字索引映射在一起，“and” 将被映射成 [2 5 1]

ppocr/utils/ppocr_keys_v1.txt 是一个包含6623个字符的中文字典

ppocr/utils/ic15_dict.txt 是一个包含36个字符的英文字典

ppocr/utils/dict/french_dict.txt 是一个包含118个字符的法文字典

ppocr/utils/dict/japan_dict.txt 是一个包含4399个字符的日文字典

ppocr/utils/dict/korean_dict.txt 是一个包含3636个字符的韩文字典

ppocr/utils/dict/german_dict.txt 是一个包含131个字符的德文字典

ppocr/utils/dict/en_dict.txt 是一个包含63个字符的英文字典

您可以按需使用。

目前的多语言模型仍处在demo阶段，会持续优化模型并补充语种，非常欢迎您为我们提供其他语言的字典和字体，如您愿意可将字典文件提交至 dict 将语料文件提交至corpus，我们会在Repo中感谢您。

  • 自定义字典

如需自定义dic文件，请在 configs/rec/rec_icdar15_train.yml 中添加 character_dict_path 字段, 指向您的字典路径。
并将 character_type 设置为 ch。

  • 添加空格类别

如果希望支持识别"空格"类别, 请将yml文件中的 use_space_char 字段设置为 True。

2.下载预训练模型

模型介绍

PaddleOCR基于动态图开源的文本识别算法列表：

  • CRNN(paper)[7]（ppocr推荐）
  • Rosetta(paper)[10]
  • STAR-Net(paper)[11]
  • RARE(paper)[12] coming soon
  • SRN(paper)[5] coming soon

参考[DTRB]3文字识别训练和评估流程，使用MJSynth和SynthText两个文字识别数据集训练，在IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE数据集上进行评估，算法效果如下：

模型骨干网络Avg Accuracy模型存储命名下载链接
RosettaResnet34_vd80.9%rec_r34_vd_none_none_ctc下载链接
RosettaMobileNetV378.05%rec_mv3_none_none_ctc下载链接
CRNNResnet34_vd82.76%rec_r34_vd_none_bilstm_ctc下载链接
CRNNMobileNetV379.97%rec_mv3_none_bilstm_ctc下载链接
StarNetResnet34_vd84.44%rec_r34_vd_tps_bilstm_ctc下载链接
StarNetMobileNetV381.42%rec_mv3_tps_bilstm_ctc下载链接
下载预训练模型

PaddleOCR提供了训练脚本、评估脚本和预测脚本，本节将以 CRNN 识别模型为例：

首先下载预训练模型，您可以下载训练好的模型在 icdar2015 数据上进行finetune

cd PaddleOCR/
# 下载MobileNetV3的预训练模型
wget -P ./pretrain_models/ https://paddleocr.bj.bcebos.com/dygraph_v2.0/en/rec_mv3_none_bilstm_ctc_v2.0_train.tar
# 解压模型参数
cd pretrain_models
tar -xf rec_mv3_none_bilstm_ctc_v2.0_train.tar && rm -rf rec_mv3_none_bilstm_ctc_v2.0_train.tar

3.开始训练

如果您安装的是cpu版本，请将配置文件中的 use_gpu 字段修改为false

# GPU训练 支持单卡，多卡训练，通过--gpus参数指定卡号
# 训练icdar15英文数据 训练日志会自动保存为 "{save_model_dir}" 下的train.log
python3 -m paddle.distributed.launch --gpus '0,1,2,3'  tools/train.py -c configs/rec/rec_icdar15_train.yml
  • 数据增强

PaddleOCR提供了多种数据增强方式，如果您希望在训练时加入扰动，请在配置文件中设置 distort: true。

默认的扰动方式有：颜色空间转换(cvtColor)、模糊(blur)、抖动(jitter)、噪声(Gasuss noise)、随机切割(random crop)、透视(perspective)、颜色反转(reverse)。

训练过程中每种扰动方式以50%的概率被选择，具体代码实现请参考：img_tools.py

由于OpenCV的兼容性问题，扰动操作暂时只支持Linux

  • 训练

PaddleOCR支持训练和评估交替进行, 可以在 configs/rec/rec_icdar15_train.yml 中修改 eval_batch_step 设置评估频率，默认每500个iter评估一次。评估过程中默认将最佳acc模型，保存为 output/rec_CRNN/best_accuracy 。

如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。

提示： 可通过 -c 参数选择 configs/rec/ 路径下的多种模型配置进行训练，PaddleOCR支持的识别算法有：

配置文件算法名称backbonetransseqpred
rec_chinese_lite_train_v2.0.ymlCRNNMobilenet_v3 small 0.5NoneBiLSTMctc
rec_chinese_common_train_v2.0.ymlCRNNResNet34_vdNoneBiLSTMctc
rec_icdar15_train.ymlCRNNMobilenet_v3 large 0.5NoneBiLSTMctc
rec_mv3_none_bilstm_ctc.ymlCRNNMobilenet_v3 large 0.5NoneBiLSTMctc
rec_mv3_none_none_ctc.ymlRosettaMobilenet_v3 large 0.5NoneNonectc
rec_r34_vd_none_bilstm_ctc.ymlCRNNResnet34_vdNoneBiLSTMctc
rec_r34_vd_none_none_ctc.ymlRosettaResnet34_vdNoneNonectc

训练中文数据，推荐使用rec_chinese_lite_train_v2.0.yml，如您希望尝试其他算法在中文数据集上的效果，请参考下列说明修改配置文件：

以 rec_chinese_lite_train_v2.0.yml 为例：

Global:
  ...
  # 添加自定义字典，如修改字典请将路径指向新字典
  character_dict_path: ppocr/utils/ppocr_keys_v1.txt
  # 修改字符类型
  character_type: ch
  ...
  # 识别空格
  use_space_char: True


Optimizer:
  ...
  # 添加学习率衰减策略
  lr:
    name: Cosine
    learning_rate: 0.001
  ...

...

Train:
  dataset:
    # 数据集格式，支持LMDBDateSet以及SimpleDataSet
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data/
    # 训练集标签文件
    label_file_list: ["./train_data/train_list.txt"]
    transforms:
      ...
      - RecResizeImg:
          # 修改 image_shape 以适应长文本
          image_shape: [3, 32, 320]
      ...
  loader:
    ...
    # 单卡训练的batch_size
    batch_size_per_card: 256
    ...

Eval:
  dataset:
    # 数据集格式，支持LMDBDateSet以及SimpleDataSet
    name: SimpleDataSet
    # 数据集路径
    data_dir: ./train_data
    # 验证集标签文件
    label_file_list: ["./train_data/val_list.txt"]
    transforms:
      ...
      - RecResizeImg:
          # 修改 image_shape 以适应长文本
          image_shape: [3, 32, 320]
      ...
  loader:
    # 单卡验证的batch_size
    batch_size_per_card: 256
    ...

注意，预测/评估时的配置文件请务必与训练一致。

4.评估

评估数据集可以通过 configs/rec/rec_icdar15_train.yml 修改Eval中的 label_file_path 设置。

# GPU 评估， Global.checkpoints 为待测权重
python -m paddle.distributed.launch --gpus '0' tools/eval.py -c configs/rec/rec_icdar15_train.yml -o Global.checkpoints={path/to/weights}/best_accuracy

5.测试

使用 PaddleOCR 训练好的模型，可以通过以下脚本进行快速预测。

默认预测图片存储在 infer_img 里，通过 -o Global.checkpoints 指定权重：

# 预测英文结果
python3 tools/infer_rec.py -c configs/rec/rec_icdar15_train.yml -o Global.pretrained_model={path/to/weights}/best_accuracy Global.load_static_weights=false Global.infer_img=doc/imgs_words/en/word_1.png

预测使用的配置文件必须与训练一致，如您通过 python3 tools/train.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml 完成了中文模型的训练，您可以使用如下命令进行中文模型预测。

# 预测中文结果
python3 tools/infer_rec.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model={path/to/weights}/best_accuracy Global.load_static_weights=false Global.infer_img=doc/imgs_words/ch/word_1.jpg

6.训练模型转inference模型

识别模型转inference模型与检测的方式相同，如下：

# -c 后面设置训练算法的yml配置文件
# -o 配置可选参数
# Global.pretrained_model 参数设置待转换的训练模型地址，不用添加文件后缀 .pdmodel，.pdopt或.pdparams。
# Global.load_static_weights 参数需要设置为 False。
# Global.save_inference_dir参数设置转换的模型将保存的地址。

python3 tools/export_model.py -c configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model=./ch_lite/ch_ppocr_mobile_v2.0_rec_train/best_accuracy Global.load_static_weights=False Global.save_inference_dir=./inference/rec_crnn/

注意：如果您是在自己的数据集上训练的模型，并且调整了中文字符的字典文件，请注意修改配置文件中的character_dict_path是否是所需要的字典文件。

转换成功后，在目录下有三个文件：

/inference/rec_crnn/
    ├── inference.pdiparams         # 识别inference模型的参数文件
    ├── inference.pdiparams.info    # 识别inference模型的参数信息，可忽略
    └── inference.pdmodel           # 识别inference模型的program文件

步骤三：文本角度分类模型

1.准备训练数据集

请按如下步骤设置数据集：

训练数据的默认存储路径是 PaddleOCR/train_data/cls,如果您的磁盘上已有数据集，Windows系统需要将数据集拷贝至对应位置，Linux只需创建软链接至数据集目录：

ln -sf <path/to/dataset> <path/to/paddle_ocr>/train_data/cls/dataset
数据集划分
  • 训练集

首先请将训练图片放入同一个文件夹（train_images），并用一个txt文件（cls_gt_train.txt）记录图片路径和标签。

注意： 默认请将图片路径和图片标签用 \t 分割，如用其他方式分割将造成训练报错

0和180分别表示图片的角度为0度和180度

" 图像文件名                 图像标注信息 "
train/word_001.jpg   0
train/word_002.jpg   180

最终训练集应有如下文件结构：

|-train_data
    |-cls
        |- cls_gt_train.txt
        |- train
            |- word_001.png
            |- word_002.jpg
            |- word_003.jpg
            | ...
  • 测试集

同训练集类似，测试集也需要提供一个包含所有图片的文件夹（train）和一个cls_gt_test.txt，测试集的结构如下所示：

|-train_data
    |-cls
        |- cls_gt_test.txt
        |- test
            |- word_001.jpg
            |- word_002.jpg
            |- word_003.jpg
            | ...

2.开始训练

将准备好的txt文件和图片文件夹路径分别写入配置文件的 Train/Eval.dataset.label_file_list 和 Train/Eval.dataset.data_dir 字段下，Train/Eval.dataset.data_dir字段下的路径和文件里记载的图片名构成了图片的绝对路径。

如果您安装的是cpu版本，请将配置文件中的 use_gpu 字段修改为false

# GPU训练 支持单卡，多卡训练，通过 '--gpus' 指定卡号，如果使用的paddle版本小于2.0rc1，请使用'--select_gpus'参数选择要使用的GPU
# 启动训练，下面的命令已经写入train.sh文件中，只需修改文件里的配置文件路径即可
python3 -m paddle.distributed.launch --gpus '0,1,2,3,4,5,6,7'  tools/train.py -c configs/cls/cls_mv3.yml
数据增强

PaddleOCR提供了多种数据增强方式，如果您希望在训练时加入扰动，请在配置文件中取消Train.dataset.transforms下的RecAug和RandAugment字段的注释。

默认的扰动方式有：颜色空间转换(cvtColor)、模糊(blur)、抖动(jitter)、噪声(Gasuss noise)、随机切割(random crop)、透视(perspective)、颜色反转(reverse),随机数据增强(RandAugment)。

训练过程中除随机数据增强外每种扰动方式以50%的概率被选择，具体代码实现请参考：
rec_img_aug.py
randaugment.py

由于OpenCV的兼容性问题，扰动操作暂时只支持linux

训练

PaddleOCR支持训练和评估交替进行, 可以在 configs/cls/cls_mv3.yml 中修改 eval_batch_step 设置评估频率，默认每1000个iter评估一次。训练过程中将会保存如下内容：

├── best_accuracy.pdopt # 最佳模型的优化器参数
├── best_accuracy.pdparams # 最佳模型的参数
├── best_accuracy.states # 最佳模型的指标和epoch等信息
├── config.yml # 本次实验的配置文件
├── latest.pdopt # 最新模型的优化器参数
├── latest.pdparams # 最新模型的参数
├── latest.states # 最新模型的指标和epoch等信息
└── train.log # 训练日志

如果验证集很大，测试将会比较耗时，建议减少评估次数，或训练完再进行评估。

注意，预测/评估时的配置文件请务必与训练一致。

3.评估

评估数据集可以通过修改configs/cls/cls_mv3.yml文件里的Eval.dataset.label_file_list 字段设置。

export CUDA_VISIBLE_DEVICES=0
# GPU 评估， Global.checkpoints 为待测权重
python3 tools/eval.py -c configs/cls/cls_mv3.yml -o Global.checkpoints={path/to/weights}/best_accuracy

4.预测

使用 PaddleOCR 训练好的模型，可以通过以下脚本进行快速预测。

通过 Global.infer_img 指定预测图片或文件夹路径，通过 Global.checkpoints 指定权重：

# 预测分类结果
python3 tools/infer_cls.py -c configs/cls/cls_mv3.yml -o Global.pretrained_model={path/to/weights}/best_accuracy Global.load_static_weights=false Global.infer_img=doc/imgs_words/ch/word_1.jpg

5.训练模型转inference模型

方向分类模型转inference模型与检测的方式相同，如下：

# -c 后面设置训练算法的yml配置文件
# -o 配置可选参数
# Global.pretrained_model 参数设置待转换的训练模型地址，不用添加文件后缀 .pdmodel，.pdopt或.pdparams。
# Global.load_static_weights 参数需要设置为 False。
# Global.save_inference_dir参数设置转换的模型将保存的地址。

python3 tools/export_model.py -c configs/cls/cls_mv3.yml -o Global.pretrained_model=./ch_lite/ch_ppocr_mobile_v2.0_cls_train/best_accuracy Global.load_static_weights=False Global.save_inference_dir=./inference/cls/

转换成功后，在目录下有三个文件：

/inference/cls/
    ├── inference.pdiparams         # 分类inference模型的参数文件
    ├── inference.pdiparams.info    # 分类inference模型的参数信息，可忽略
    └── inference.pdmodel           # 分类inference模型的program文件

步骤四：三模型联合推理

以下代码实现了文本检测、方向分类器和文本识别串联推理，在执行预测时，需要通过参数image_dir指定单张图像或者图像集合的路径、参数det_model_dir指定检测inference模型的路径、参数rec_model_dir指定识别inference模型的路径、参数use_angle_cls指定是否使用方向分类器、参数cls_model_dir指定方向分类器inference模型的路径、参数use_space_char指定是否预测空格字符。可视化识别结果默认保存到./inference_results文件夹里面。


# 预测image_dir指定的单张图像
python tools/infer/predict_system.py --image_dir="./inference_img/11.jpg" --det_model_dir="./inference/ch_ppocr_mobile_v2.0_det_infer"  --rec_model_dir="./inference/ch_ppocr_mobile_v2.0_rec_infer" --cls_model_dir="./inference/ch_ppocr_mobile_v2.0_cls_infer" --use_angle_cls=True --use_space_char=True

# 预测image_dir指定的图像集合
python tools/infer/predict_system.py --image_dir="./doc/imgs/" --det_model_dir="./inference/ch_ppocr_mobile_v2.0_det_infer/"  --rec_model_dir="./inference/ch_ppocr_mobile_v2.0_rec_infer/" --cls_model_dir="./inference/ch_ppocr_mobile_v2.0_cls_infer/" --use_angle_cls=True --use_space_char=True

# 如果想使用CPU进行预测，需设置use_gpu参数为False
python tools/infer/predict_system.py --image_dir="./doc/imgs/11.jpg" --det_model_dir="./inference/ch_ppocr_mobile_v2.0_det_infer/"  --rec_model_dir="./inference/ch_ppocr_mobile_v2.0_rec_infer/" --cls_model_dir="./inference/ch_ppocr_mobile_v2.0_cls_infer/" --use_angle_cls=True --use_space_char=True --use_gpu=False

五、放在最后：推理模型列表（V2.0，2021年1月20日更新）

说明 ：2.0版模型和1.1版模型的主要区别在于动态图训练vs.静态图训练，模型性能上无明显差距。

PaddleOCR提供的可下载模型包括推理模型、训练模型、预训练模型、slim模型，模型区别说明如下：

模型类型模型格式简介
推理模型inference.pdmodel、inference.pdiparams用于python预测引擎推理，详情
训练模型、预训练模型*.pdparams、*.pdopt、*.states训练过程中保存的模型的参数、优化器状态和训练中间信息，多用于模型指标评估和恢复训练
slim模型*.nb用于lite部署

一、文本检测模型

模型名称模型简介配置文件推理模型大小下载地址
ch_ppocr_mobile_slim_v2.0_detslim裁剪版超轻量模型，支持中英文、多语种文本检测ch_det_mv3_db_v2.0.yml推理模型 (coming soon) / 训练模型 (coming soon)
ch_ppocr_mobile_v2.0_det原始超轻量模型，支持中英文、多语种文本检测ch_det_mv3_db_v2.0.yml3M推理模型 / 训练模型
ch_ppocr_server_v2.0_det通用模型，支持中英文、多语种文本检测，比超轻量模型更大，但效果更好ch_det_res18_db_v2.0.yml47M推理模型 / 训练模型

二、文本识别模型

1. 中文识别模型

模型名称模型简介配置文件推理模型大小下载地址
ch_ppocr_mobile_slim_v2.0_recslim裁剪量化版超轻量模型，支持中英文、数字识别rec_chinese_lite_train_v2.0.yml推理模型 / 训练模型
ch_ppocr_mobile_v2.0_rec原始超轻量模型，支持中英文、数字识别rec_chinese_lite_train_v2.0.yml3.71M推理模型 / 训练模型 / 预训练模型
ch_ppocr_server_v2.0_rec通用模型，支持中英文、数字识别rec_chinese_common_train_v2.0.yml94.8M推理模型 / 训练模型 / 预训练模型

说明： 训练模型是基于预训练模型在真实数据与竖排合成文本数据上finetune得到的模型，在真实应用场景中有着更好的表现，预训练模型则是直接基于全量真实数据与合成数据训练得到，更适合用于在自己的数据集上finetune。

2. 英文识别模型

模型名称模型简介配置文件推理模型大小下载地址
en_number_mobile_slim_v2.0_recslim裁剪量化版超轻量模型，支持英文、数字识别rec_en_number_lite_train.yml推理模型 / 训练模型
en_number_mobile_v2.0_rec原始超轻量模型，支持英文、数字识别rec_en_number_lite_train.yml2.56M推理模型 / 训练模型

3. 多语言识别模型（更多语言持续更新中…）

说明： 新增的多语言模型的配置文件通过代码方式生成，您可以通过--help参数查看当前PaddleOCR支持生成哪些多语言的配置文件：

# 该代码需要在指定目录运行
cd {your/path/}PaddleOCR/configs/rec/multi_language/
python3 generate_multi_language_configs.py --help

下面以生成意大利语配置文件为例：

1. 生成意大利语配置文件测试现有模型

如果您仅仅想用配置文件测试PaddleOCR提供的多语言模型可以通过下面命令生成默认的配置文件，使用PaddleOCR提供的小语种字典进行预测。

# 该代码需要在指定目录运行
cd {your/path/}PaddleOCR/configs/rec/multi_language/
# 通过-l或者--language参数设置需要生成的语种的配置文件，该命令会将默认参数写入配置文件
python3 generate_multi_language_configs.py -l it
2. 生成意大利语配置文件训练自己的数据

如果您想训练自己的小语种模型，可以准备好训练集文件、验证集文件、字典文件和训练数据路径，这里假设准备的意大利语的训练集、验证集、字典和训练数据路径为：

  • 训练集:{your/path/}PaddleOCR/train_data/train_list.txt
  • 验证集:{your/path/}PaddleOCR/train_data/val_list.txt
  • 使用PaddleOCR提供的默认字典：{your/path/}PaddleOCR/ppocr/utils/dict/it_dict.txt
  • 训练数据路径:{your/path/}PaddleOCR/train_data

使用以下命令生成配置文件：

# 该代码需要在指定目录运行
cd {your/path/}PaddleOCR/configs/rec/multi_language/
# -l或者--language字段是必须的
# --train修改训练集，--val修改验证集，--data_dir修改数据集目录，-o修改对应默认参数
# --dict命令改变字典路径，示例使用默认字典路径则该参数可不填
python3 generate_multi_language_configs.py -l it \
--train train_data/train_list.txt \
--val train_data/val_list.txt \
--data_dir train_data \
-o Global.use_gpu=False
模型名称模型简介配置文件推理模型大小下载地址
french_mobile_v2.0_rec法文识别rec_french_lite_train.yml2.65M推理模型 / 训练模型
german_mobile_v2.0_rec德文识别rec_german_lite_train.yml2.65M推理模型 / 训练模型
korean_mobile_v2.0_rec韩文识别rec_korean_lite_train.yml3.9M推理模型 / 训练模型
japan_mobile_v2.0_rec日文识别rec_japan_lite_train.yml4.23M推理模型 / 训练模型
it_mobile_v2.0_rec意大利文识别rec_it_lite_train.yml2.53M推理模型 / 训练模型
xi_mobile_v2.0_rec西班牙文识别rec_xi_lite_train.yml2.53M推理模型 / 训练模型
pu_mobile_v2.0_rec葡萄牙文识别rec_pu_lite_train.yml2.63M推理模型 / 训练模型
ru_mobile_v2.0_rec俄罗斯文识别rec_ru_lite_train.yml2.63M推理模型 / 训练模型
ar_mobile_v2.0_rec阿拉伯文识别rec_ar_lite_train.yml2.53M推理模型 / 训练模型
hi_mobile_v2.0_rec印地文识别rec_hi_lite_train.yml2.63M推理模型 / 训练模型
chinese_cht_mobile_v2.0_rec中文繁体识别rec_chinese_cht_lite_train.yml5.63M推理模型 / 训练模型
ug_mobile_v2.0_rec维吾尔文识别rec_ug_lite_train.yml2.63M推理模型 / 训练模型
fa_mobile_v2.0_rec波斯文识别rec_fa_lite_train.yml2.63M推理模型 / 训练模型
ur_mobile_v2.0_rec乌尔都文识别rec_ur_lite_train.yml2.63M推理模型 / 训练模型
rs_mobile_v2.0_rec塞尔维亚文（latin）识别rec_rs_lite_train.yml2.53M推理模型 / 训练模型
oc_mobile_v2.0_rec欧西坦文识别rec_oc_lite_train.yml2.53M推理模型 / 训练模型
mr_mobile_v2.0_rec马拉地文识别rec_mr_lite_train.yml2.63M推理模型 / 训练模型
ne_mobile_v2.0_rec尼泊尔文识别rec_ne_lite_train.yml2.63M推理模型 / 训练模型
rsc_mobile_v2.0_rec塞尔维亚文（cyrillic）识别rec_rsc_lite_train.yml2.63M推理模型 / 训练模型
bg_mobile_v2.0_rec保加利亚文识别rec_bg_lite_train.yml2.63M推理模型 / 训练模型
uk_mobile_v2.0_rec乌克兰文识别rec_uk_lite_train.yml2.63M推理模型 / 训练模型
be_mobile_v2.0_rec白俄罗斯文识别rec_be_lite_train.yml2.63M推理模型 / 训练模型
te_mobile_v2.0_rec泰卢固文识别rec_te_lite_train.yml2.63M推理模型 / 训练模型
ka_mobile_v2.0_rec卡纳达文识别rec_ka_lite_train.yml2.63M推理模型 / 训练模型
ta_mobile_v2.0_rec泰米尔文识别rec_ta_lite_train.yml2.63M推理模型 / 训练模型

三、文本方向分类模型

模型名称模型简介配置文件推理模型大小下载地址
ch_ppocr_mobile_slim_v2.0_clsslim量化版模型cls_mv3.yml推理模型 / 训练模型
ch_ppocr_mobile_v2.0_cls原始模型cls_mv3.yml1.38M推理模型 / 训练模型

参考

  1. 官方文档
RV1126笔记三十七：PaddleOCR检测模型训练
07-09 728
PaddleOCR检测模型训练
使用openvino加速部署paddleocr文本识别模型（C++版）
吾名招财的博客
12-30 339
训练之前没注意在txt文件里面多了一个空行，所以总的字符就是1+10+26+1=38，在训练阶段会被自动在起始位填充一个blank字段，在解析输出的时候，需要排除第一个位置的预测的原因就在这里。另外的字符的解析，例如把输出存为40行39列的图片，则按行找最大值的位置索引，一共有40个索引值，判断第一个位置索引值是不是零（为零表示预测为blank字段），如果不是则保留索引，从第二个开始依次和前面的索引比较，如果和前一个索引值不同，则保留索引，当遍历完40个索引的时候就得到了最后的索引表。
paddleocr的基本使用
potato123232的博客
01-11 3575
我使用的系统为windows，python版本为python3.7，paddleocr版本为2.7.0.2我的显卡是GTX970M，估计是硬件问题，后续使用代码的时候如果使用GPU就不能预测出结果，但CPU可以预测出结果。但在更新CUDA后，在任务管理器中可以查看到GPU的使用情况(之前很少)综上所述下面安装paddlepaddle-gpu版流程是不一定正确的。
paddleocr模型训练
GZ_public的博客
10-31 5454
paddleocr的det和rec模型训练
深度学习篇---PaddleOCR
最新发布
道阻且长，行则将至。
03-24 1226
本文简单介绍一下PaddleOCR这款百度旗下的PaddlePaddle框架下的文本识别工具包。
paddleOcr训练一个属于自己的模型
m0_49710816的博客
11-10 8165
训练一个属于自己的paddleocr模型，从环境搭建到模型推理全过程
PaddleOCR模型训练及使用详细教程
Elaine的博客
01-25 1万+
PaddleOCR是基于PaddlePaddle深度学习框架的开源OCR工具，但它提供了推理模型/训练模型/预训练模型，用户可以直接使用推理模型进行识别，也可以对训练模型或预训练模型进行再训练。支持约80种语言的文本识别，并具有较高的准确性和速度。
PadleOCR训练自己的ocr模型之训练步骤
m0_63493883的博客
06-26 1万+
一、前期准备1、代码2、标注工具二、环境配置库的安装：在文件配置完后，训练后时看缺什么库就安什么库三、文件配置。
PaddleOCR训练属于自己的模型详细教程（从打标，制作数据集，训练到应用，以行驶证识别为例）
热门推荐
qq_52852432的博客
07-25 9万+
PaddleOCR是一个基于飞桨开发的OCR（Optical Character Recognition，光学字符识别）系统。其技术体系包括文字检测、文字识别、文本方向检测和图像处理等模块。以下是其优点：高精度：PaddleOCR采用深度学习算法进行训练，可以在不同场景下实现高精度的文字检测和文字识别。
paddleocr 训练自己的数据，详细笔记
jacke121的专栏
01-24 2546
需要制作数据集 SimpleDataSet 制作数据集： import glob import os.path dir_path=r'F:\project\ocr\plate_double2' save_file = dir_path+"/train_label.txt" files=glob.glob(dir_path+"/train/*.jpg") datas=[] for file in files: datas.append(file+f"\t{os....
Paddle笔记：PaddleOCR文字识别，简单实用，默认训练模型识别度不错
Java Punk
10-11 8861
PaddleOCR是百度深度学习框架PaddlePaddle开源的OCR项目，旨在打造一套丰富、领先、且实用的OCR工具库，助力使用者训练出更好的模型，并应用落地。
使用最新的paddlepaddle进行训练和保存模型
02-28
使用最新的paddlepaddle进行训练和保存模型，该模型可以进行继续训练或直接用于预测
paddlepaddle使用笔记——使用自己的数据训练ocr模型
Diana_Z的博客
06-21 1万+
1、使用环境： ubuntu18.04，4gpu，nvidia410.78，cuda9.0，cudnn7.3，python3.6 2、使用代码： 官方提供的ocr模型代码 https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/ocr_recognition 3、将代码运行起来 为了方便看到运行的效果，我修改了参数，sa...
PaddleOCR-v4模型训练教程
m0_74386238的博客
11-25 3649
请注意，你的train_data目录结构需要与我一样，如图：！请注意，数据集中不应该出现中文命名！打开下载好的2.6版本，在此2.6的目录下创建一个空文件夹“train_data”，还有一件事，最开始的初步识别也可能出现这个问题，故请仔细检查每一个识别结果。右键未识别处，在弹出菜单中选择“矩形标注”或者“多点标注”，操作鼠标标注。还有一件事，记得查看右边的识别结果，是否正确，有可能识别错误，请自行修正。在标记完所有的数据之后，最后一步，导出“标记结果”和“识别结果”。安装PPOCRLabel。
2024年鸿蒙最全PaddleOCR模型训练及使用详细教程_paddleocr设置模型输出，2024年最新HarmonyOS鸿蒙程序员架构之路该如何继续学习
2401_84862048的博客
05-15 4225
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！ 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上鸿蒙开发知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化的资料的朋友，可以戳这里获取⑤ 安装CUDNN ： 进入以下网址，需要进行注册下载 NVIDIA官网(https://
paddleocr文本识别模型的训练
didiaopao的博客
10-20 1万+
1、准备数据 训练自己的模型首先要有数据集，在我写的《paddleocr文本检测模型的训练》这篇文章的时候我已经提供了一份数据集，里面包含了文本检测和识别的数据集，由于那篇文章是文本检测的训练，所以只用到了文本检测的数据集，这里我用的是文本识别的数据集，有需要数据的可以去那篇文章里面找数据。文章链接。让我们来直观的感受一下数据集，数据集照片的图片如下所示： 数据的标签如下图所示，就是每行的前面是图片的路径，后面为该图片的标签内容。 这里要注意的是：txt文件中默...
2024年最新新手掌握PaddleOCR使用（训练自己数据集与知识蒸馏）
hsling
09-11 1万+
由于框架在不断迭代，最新版的指导希望能帮助新手掌握训练自己的数据集与知识蒸馏过程
PaddleOCR训练自己的数据集（中英文）（全套）和C#部署（半套）
qq_65356682的博客
06-25 3084
PaddleOCR是一个基于飞桨开发的OCR（Optical Character Recognition，光学字符识别）系统。其技术体系包括文字检测、文字识别、文本方向检测和图像处理等模块。以下是其优点：高精度：PaddleOCR采用深度学习算法进行训练，可以在不同场景下实现高精度的文字检测和文字识别。多语种支持：PaddleOCR支持多种语言的文字识别，包括中文、英文、日语、韩语等。同时，它还支持多种不同文字类型的识别，如手写字、印刷体、表格等。
PaddleOCR使用笔记-文字检测训练、评估、推理
快乐的小小程序猿
09-05 1112
PaddleOCR使用笔记 Linux环境下 PaddleOCR develop版本安装及使用（第二次尝试）(成功) 文字检测训练 Ctrl+P+Q # 退出docker容器 cd ./projects/PaddleOCR_dev/PaddleOCR wget -P ./pretrain_models/ https://paddle-imagenet-models-name.bj.bcebos.com/MobileNetV3_large_x0_5_pretrained.tar tar -xf ./pret
paddleocr合并模型
01-09
PaddleOCR是基于飞桨（PaddlePaddle）深度学习框架的优秀开源文本检测和识别库。它支持多种模型的融合，包括文字定位、分割和识别。"合并模型"通常是指将多个预训练的模型（如CRNN、SAR、DAN等）集成在一起，形成一个联合模型，以便同时处理文字定位（检测出文字的位置）和文字识别（确定每个位置的文字内容）。这种融合可以帮助提高整体性能，尤其当场景复杂，包含不同字体、大小和方向的文字时。 要合并PaddleOCR模型，你可以按照以下步骤操作： 1. 安装PaddleOCR：`pip install paddlex -f https://www.paddlepaddle.org.cn/whl/stable.html` 2. 导入需要的模块并加载单独的模型：例如，`from paddlex.text import OCR`，然后加载各自的OCR模型。 3. 配置融合模型：创建一个pipeline，并指定哪些部分使用哪个模型，可以调整权重和顺序。 4. 融合训练：如果需要自定义融合策略，可以通过模型组合的方式对模型参数进行微调。 5. 使用融合后的模型进行预测：提供图像输入，模型会自动结合各个部分的结果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

great-wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值