PP-OCRv3 文本识别模型转ncnn模型

已于 2023-02-20 22:28:59 修改
阅读量1.6k 收藏 15
点赞数 3
文章标签： 人工智能 深度学习
于 2023-02-08 10:15:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29543997/article/details/128923330
版权

1、下载PP-OCRv3

       https://github.com/PaddlePaddle/PaddleOCR

 2、将paddle模型转换成onnx模型

（创建虚拟环境）：paddle

base环境（使用onnx-sim进行简化）

(1) 转onnx命令（paddle环境）：

paddle2onnx --model_dir ./paddle_infere/ 
            --model_filename inference.pdmodel 
            --params_filename inference.pdiparams 
		    --save_file ./rec_v3.onnx 
		    --opset_version 11

 (2)利用onnx-sim对onnx模型进行简化和优化（base环境）

命令：

#简化
python3 -m onnxsim ./rec_v3.onnx ./rec_v3-sim.onnx --overwrite-input-shape 1,3,48,320

# 优化
python3 -m onnxoptimizer rec_v3-sim.onnx rec_v3-sim-opt.onnx

3、将onnx模型转为ncnn模型

        a、下载ncnn  https://github.com/Tencent/ncnn

               本例中下载的版本为：ncnn-20221128-windows-vs2015

       b、将onnx转为ncnn模型

             命令：

# 转换为ncnn
onnx2ncnn.exe ./rec_v3-sim-opt.onnx ./rec_v3-sim-opt.param ./rec_v3-sim-opt.bin

# 对ncnn进行优化
ncnnoptimize.exe rec_v3-sim-opt.param rec_v3-sim-opt.bin rec_v3-sim-new-opt.param rec_v3-sim-new-opt.bin 0 （其中 0=float32, 1=float16）

onnx转ncnn模型运行结果：（部分op操作不支持）两个attention模块有个5d的reshpe导致出现了问题

 ncnn进行优化运行结果（不是paddleocrv3 官方识别模型的截图）

4、对模型进行修改不支持的操作

      （如需下述中的g步骤，请先进行g步骤在修改其他操作）

     （1）打开.param文件

     （2）修改不支持的操作

             a、两个reshape操作， ncnn不支持5d转换 （共2个），ncnn的reshape和permute目前已经支持4d操作

 

操作        层名           输入数量 输出数量  输入变量名  输出变量名

# 改之前
Reshape     p2o.Reshape.87        1 1 p2o.Add.89 reshape2_0.tmp_0 0=120 1=3 2=-1
Permute     p2o.Transpose.1       1 1 reshape2_0.tmp_0 transpose_1.tmp_0

Reshape     p2o.Reshape.93        1 1 p2o.Add.109 reshape2_2.tmp_0 0=120 1=3 2=-1
Permute     p2o.Transpose.4       1 1 reshape2_2.tmp_0 transpose_4.tmp_0

# 改之后
Reshape     p2o.Reshape.87        1 1 p2o.Add.89 reshape2_0.tmp_0 0=15 1=8 2=-1 11=3
Permute     p2o.Transpose.1       1 1 reshape2_0.tmp_0 transpose_1.tmp_0 0=8

Reshape     p2o.Reshape.93        1 1 p2o.Add.109 reshape2_2.tmp_0 0=15 1=8 2=-1 11=3
Permute     p2o.Transpose.4       1 1 reshape2_2.tmp_0 transpose_4.tmp_0 0=8

注解： 其中reshape:  0:宽(w) 1:高(h) 2:通道(c) 11:depth  （ncnn框架中）

b、ncnn的squeeze不支持4d操作， 将squeeze 改为reshape即可。（总共6个）

# 修改之前
Squeeze  p2o.Squeeze.0  1 1 p2o.Slice.3 transpose_1.tmp_0_slice_0 -23303=1,0
Squeeze  p2o.Squeeze.1  1 1 p2o.Slice.5 transpose_1.tmp_0_slice_1 -23303=1,0
Squeeze  p2o.Squeeze.2  1 1 p2o.Slice.7 transpose_1.tmp_0_slice_2 -23303=1,0

# 修改之后
Reshape  p2o.Squeeze.0  1 1 p2o.Slice.3 transpose_1.tmp_0_slice_0 0=15 1=-1 2=8
Reshape  p2o.Squeeze.1  1 1 p2o.Slice.5 transpose_1.tmp_0_slice_1 0=15 1=-1 2=8
Reshape  p2o.Squeeze.2  1 1 p2o.Slice.7 transpose_1.tmp_0_slice_2 0=15 1=-1 2=8


# 修改之前
Squeeze  p2o.Squeeze.3  1 1 p2o.Slice.11 transpose_4.tmp_0_slice_0 -23303=1,0
Squeeze  p2o.Squeeze.4  1 1 p2o.Slice.13 transpose_4.tmp_0_slice_1 -23303=1,0
Squeeze  p2o.Squeeze.5  1 1 p2o.Slice.15 transpose_4.tmp_0_slice_2 -23303=1,0

# 修改之后
Reshape  p2o.Squeeze.3  1 1 p2o.Slice.11 transpose_4.tmp_0_slice_0 0=15 1=-1 2=8
Reshape  p2o.Squeeze.4  1 1 p2o.Slice.13 transpose_4.tmp_0_slice_1 0=15 1=-1 2=8
Reshape  p2o.Squeeze.5  1 1 p2o.Slice.15 transpose_4.tmp_0_slice_2 0=15 1=-1 2=8

c、将把attention中的Gemm修改为MatMul即可（总共4个）

# 修改前
Gemm    p2o.MatMul.2   2 1 p2o.Mul.9 transpose_2.tmp_0 p2o.MatMul.3
Gemm    p2o.MatMul.4   2 1 softmax_0.tmp_0 transpose_1.tmp_0_slice_2 p2o.MatMul.5

# 修改后
MatMul  p2o.MatMul.2   2 1 p2o.Mul.9 transpose_2.tmp_0 p2o.MatMul.3
MatMul  p2o.MatMul.4   2 1 softmax_0.tmp_0 transpose_1.tmp_0_slice_2 p2o.MatMul.5


# 修改前
Gemm    p2o.MatMul.14  2 1 p2o.Mul.18 transpose_5.tmp_0 p2o.MatMul.15
Gemm    p2o.MatMul.16  2 1 softmax_1.tmp_0 transpose_4.tmp_0_slice_2 p2o.MatMul.17

# 修改后
MatMul  p2o.MatMul.14  2 1 p2o.Mul.18 transpose_5.tmp_0 p2o.MatMul.15
MatMul  p2o.MatMul.16  2 1 softmax_1.tmp_0 transpose_4.tmp_0_slice_2 p2o.MatMul.17

 d、修改slice操作 （共6个）

# 修改前
Crop     p2o.Slice.2     1 1 transpose_1.tmp_0_splitncnn_2 p2o.Slice.3 -23309=0 -23310=0
Crop     p2o.Slice.4     1 1 transpose_1.tmp_0_splitncnn_1 p2o.Slice.5 -23309=0 -23310=0
Crop     p2o.Slice.6     1 1 transpose_1.tmp_0_splitncnn_0 p2o.Slice.7 -23309=0 -23310=0

# 修改之后
Crop     p2o.Slice.2  1 1 transpose_1.tmp_0_splitncnn_2 p2o.Slice.3 -23309=1,0 -23310=1,1 -23311=1,0
Crop     p2o.Slice.4  1 1 transpose_1.tmp_0_splitncnn_1 p2o.Slice.5 -23309=1,1 -23310=1,2 -23311=1,0
Crop     p2o.Slice.6  1 1 transpose_1.tmp_0_splitncnn_0 p2o.Slice.7 -23309=1,2 -23310=1,3 -23311=1,0

# 修改之前
Crop     p2o.Slice.10    1 1 transpose_4.tmp_0_splitncnn_2 p2o.Slice.11 -23309=0 -23310=0
Crop     p2o.Slice.12    1 1 transpose_4.tmp_0_splitncnn_1 p2o.Slice.13 -23309=0 -23310=0
Crop     p2o.Slice.14    1 1 transpose_4.tmp_0_splitncnn_0 p2o.Slice.15 -23309=0 -23310=0

# 修改之后
Crop     p2o.Slice.10  1 1 transpose_4.tmp_0_splitncnn_2 p2o.Slice.11 -23309=1,0 -23310=1,1 -23311=1,0
Crop     p2o.Slice.12  1 1 transpose_4.tmp_0_splitncnn_1 p2o.Slice.13 -23309=1,1 -23310=1,2 -23311=1,0
Crop     p2o.Slice.14  1 1 transpose_4.tmp_0_splitncnn_0 p2o.Slice.15 -23309=1,2 -23310=1,3 -23311=1,0


# 注释： 09:satrts 10:ends 11:axis (onnx中的satrts ends axis steps)

 e、修改识别头CTC

交换Squeeze 和 Transpose（onnx：图）

.param(图)

交换前：

交换后：

# 交换前
Squeeze                  p2o.Squeeze.6            1 1 swish_20.tmp_0 squeeze_0.tmp_0 -23300=1,1
Permute                  p2o.Transpose.8          1 1 squeeze_0.tmp_0 transpose_8.tmp_0 0=1


# 交换后
Permute                  p2o.Transpose.8          1 1 swish_20.tmp_0 squeeze_0.tmp_0 0=3
Squeeze                  p2o.Squeeze.6            1 1 squeeze_0.tmp_0 transpose_8.tmp_0 -23303=1,0

f、修改最后一层softmax层

# 修改前
Softmax                  p2o.Softmax.2            1 1 p2o.Add.129 softmax_2.tmp_0 0=1 1=1

# 修改后
Softmax                  p2o.Softmax.2            1 1 p2o.Add.129 softmax_2.tmp_0 0=-1 1=1

至此修改完成后，对模型进行测试（模型精度有损失）

g、将split、BinaryOp、sigmoid替换成Swish操作（共7处）（经测试：不替换也没问题，不影响精度）

 （上图206、229 不是paddleocrv3官方模型转换出来，已经进行了网络修改，需要根据自己转换后得到的layer count为准）

 替换后：

（1）
# 替换前
Split            splitncnn_3              1 2 conv2d_309.tmp_0 conv2d_309.tmp_0_splitncnn_0 conv2d_309.tmp_0_splitncnn_1
BinaryOp         p2o.Mul.0                2 1 conv2d_309.tmp_0_splitncnn_1 p2o.helper.constant.42_splitncnn_6 p2o.Mul.1 0=2
Sigmoid          p2o.Sigmoid.0            1 1 p2o.Mul.1 p2o.Sigmoid.1
BinaryOp         p2o.Mul.2                2 1 conv2d_309.tmp_0_splitncnn_0 p2o.Sigmoid.1 swish_14.tmp_0 0=2

# 替换后
Swish            p2o.Mul.0                1 1 conv2d_309.tmp_0 swish_14.tmp_0

注意： 最初时 layer count 为206层， 我们将4个操作换成了1个操作，减少了（4-1）3个操作，因此将param文件中的layer count 改为 203层

（2）
# 替换前
Split            splitncnn_4              1 2 conv2d_310.tmp_0 conv2d_310.tmp_0_splitncnn_0 conv2d_310.tmp_0_splitncnn_1
BinaryOp         p2o.Mul.3                2 1 conv2d_310.tmp_0_splitncnn_1 p2o.helper.constant.42_splitncnn_5 p2o.Mul.4 0=2
Sigmoid          p2o.Sigmoid.2            1 1 p2o.Mul.4 p2o.Sigmoid.3
BinaryOp         p2o.Mul.5                2 1 conv2d_310.tmp_0_splitncnn_0 p2o.Sigmoid.3 swish_15.tmp_0 0=2

# 替换后
Swish            p2o.Mul.1                1 1 conv2d_310.tmp_0 swish_15.tmp_0

注意：将4个操作换成了一个操作，减少了（4-1）3个操作，因此将 layer count 203 改为layer count 200


将7处替换完成后，运行 
ncnnoptimize.exe rec_v3-sim-opt.param rec_v3-sim-opt.bin rec_v3-sim-new-opt.param rec_v3-sim-new-opt.bin 0

ncnnoptimize 工具，自动将无用的 MemoryData 删除，并且会自动帮你将最终的 blob count 设置为合适的数量， 所以前面步骤中不需要你自己改 blob count，也不用担心多出来的 MemoryData，都会帮你优化掉

参考链接：

ncnn部署PP-OCRv3之onnx篇 - 知乎 (zhihu.com)

手工优化ncnn模型结构 - 知乎 (zhihu.com)

FeiGeChuanShu/ncnn_paddleocr: Android paddleocr demo infer by ncnn (github.com)
ncnn框架量化工具过程记录笔记 - 知乎 (zhihu.com)

转载请注明出处

xjdxldx
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
中英文超轻量PP-OCRv4模型
10-23
中英文超轻量PP-OCRv4预测模型
使用MindStudio完成en-PP-OCRv3-rec模型开发
11-19
本文主要介绍通过MindStudio全流程开发工具链，将PaddlePaddle模型转成om模型，并在昇腾环境上进行推理的流程
Ubuntu/Windows下PaddleOCRv4转ncnn
qq_43683839的博客
08-23 557
太慢，所以我是下载zip文件解压的，解压后同样使用VS2019 x64本机工具命令提示符进入到解压目录，并执行以下命令，把第四条命令中的your_protobuf_dir换成你自己的protobuf路径。由于我是普通用户，ubuntu上没有安装cmake，所以后续的onnx转ncnn工作转到了本地windows，首先需要自行安装VS2019和CMake，安装完成后再做以下内容。至此，PaddleOCRv4转NCNN完成，可以进行后续的推理验证工作。执行完后生成了一个装有.onnx文件的新文件夹。
PPOCRv3在ncnn端部署
qq_35629706的博客
04-07 375
之前尝试使用paddle -> onnx -> ncnn的方案，遇到了转ncnn过程中，某些层不支持的问题，经过修改ncnn模型参数，可实现部署，但是修改较复杂，很不易用，现在自己都忘了当前怎么修改的了。PP-OCRv3 文本识别模型转ncnn模型PPOCRV3文本识别模型精度损失问题解决ncnn部署PP-OCRv3现在尝试利用paddle -> pth -> pt -> pnnx -> ncnn 的方式实现ncnn模型部署，且不需要对PPOCRv3的模型进行修改。
【PaddleOCR-det-finetune】一：基于PPOCRv3的det检测模型finetune训练
z5z5z5z56的博客
03-07 2649
基于PPOCRv3轻量检测模型的finetune训练，无需训练教师模型，希望在PPOCRv3检测模型基础上提升使用场景上的精度。也就是使用自己的数据集，在PPOCRv3预训练模型上做微调，提升垂类场景效果。
使用NCNN在PC端部署PaddleOCR
小菜的博客
11-06 4768
序言 上一篇文章记录了paddle-lite在arm开发板上部署PaddleOCR的流程，文末也提到了自己使用NCNN去部署的预告，正好今天刚好有时间，就写一篇文章记录一下NCNN部署的过程，本文暂时是介绍了部署在PC上，后面会再出一篇在arm开发板上部署的文章，因为流程基本上是一样的，可能有些同学对NCNN的部署不是太了解，所以从PC端讲起会更容易理解一些。 一、环境准备 因为只是在PC上部署，所以只需要ubuntu电脑一台，CMake这些环境默认是安装好了的，然后编译NCNN，编译的流程如下： 在这里插
PPOCRV3文本识别模型精度损失问题解决
qq_35629706的博客
04-26 938
至此来看，自己前面改AdaptiveAvgPool层和InnerProduct层好像没用，白折腾了，直接换ncnn编译库可能就好了。不过经过这么折腾学了不多东西，记录下来作为后备之需。
文字识别（OCR）专题——基于NCNN轻量级PaddleOCRv4模型C++推理
知来者逆的博客
12-01 5159
使用NCNN对paddle ocr v4进行推理，多平台兼容，可使用GPU。
对paddleOCR中的字符识别模型转ONNX
猫猫与橙子的博客
10-12 778
paddle OCR中的CRNN模型转ONNX模型，附测试代码。
PPv3-OCR自定义数据从训练到部署
AI浩
06-01 1万+
最近一段时间使用PaddleOCR做了一个OCR相关的项目，本文记录一下项目的实现过程。由于数据集是公司的真是数据，不方便公开，我从网上搜集了一些数据集，给大家做演示。PaddleOCR用的最新的PaddleOCR-release-2.5，模型用的v3模型。创建虚拟环境 创建完成后激活环境 登录飞桨的官网下载最新的paddle，官网地址：飞桨PaddlePaddle-源于产业实践的开源深度学习平台选择合适的CUDA版本，然后会在下面生成对应的命令。然后，复制命令即可 二、配置PaddleOCR 下载地址：(
【paddleOCR】paddleOCR一些 部署资料
py今天刷题了吗
10-09 407
使用NCNN在PC端部署PaddleOCR： https://blog.csdn.net/qq_39056987/article/details/121148028。PPOCRv3模型转pytorch： https://blog.csdn.net/qq_39056987/article/details/124921515。官方教程： https://aistudio.baidu.com/aistudio/projectdetail/4668668。模型转换paddle->onnx->ncnn。
cn.PaddleOcrV4 OCR文字识别框架 支持PP-OCRv2、PP-OCRv3、PP-OCRv4三个版本ocr识别
04-09
支持PP-OCRv2、PP-OCRv3、PP-OCRv4三个版本ocr识别 支持net35; net40; net45; net451; net452; net46; net461 net462; net47; net471; net472; net48; net481; netstandard2.0; netcoreapp3.1; net5.0; net6.0; ...
PP-OCRv3 文字检测模型
07-10
PP-OCRv3在PP-OCRv2的基础上进一步升级。整体的框架图保持了与PP-OCRv2相同的pipeline，针对检测模型和识别模型进行了优化
en-PP-OCRv3-det.onnx
最新发布
05-05
PP-OCR det
PaddelOCR网络主体结构
weixin_56314292的博客
09-11 316
文本检测部分：我们使用Differentiable Binarization (DB) (Real-Time Scene Text Detection with Differentiable Binarization.) 作为基于简单分割网络的文本检测器。DB的简单后处理使其非常高效。为了进一步提高其有效性和效率，使用了以下六种策略：轻骨干、轻头、删除SE模块、余弦学习率衰减、学习率预热和FPGM剪枝。最终，文本检测器的模型大小减小到1.4M方向分类器：由于检测框由四个点组成，很容易通过几何变换来实现。
【官方】十分钟完成 PP-OCRv3 识别全流程实战
热门推荐
m0_63642362的博客
05-13 1万+
转自AI Studio，原文链接： 【官方】十分钟完成 PP-OCRv3 识别全流程实战 - 飞桨AI Studio 十分钟完成 PP-OCRv3 识别全流程实战 项目地址：PaddleOCR github 地址：https://github.com/PaddlePaddle/PaddleOCR PaddleOCR是百度开源的超轻量级OCR模型库，提供了数十种文本检测、识别模型，旨在打造一套丰富、领先、实用的文字检测、识别模型/工具库，助力使用者训练出更好的模型，并应用落地。同时PaddleOC.
pytorch 与 onnx安装
fireflychh的博客
01-03 7218
1、which protoc是按照huan环境变量查找可执行程序； 2、ananconda 应该不会安装cuda的不同版本，如果需要不同版本，可以安装多个版本的cuda，程序回到不同的文件路径下去找cuda 3、conda install 最好不好加-c 和conda-forge， 因为这个是在该库下装软件，不同的库之间的package可能会有冲突；   pip install onnx ...
推荐 ncnn_paddleocr: 高效的深度学习 OCR 库
gitblog_00009的博客
03-05 376
推荐 ncnn_paddleocr: 高效的深度学习 OCR 库 本文将向您推荐一个名为 ncnn_paddleocr 的项目，它是一个基于 PaddleOCR 和 ncnn 的轻量级且高效的深度学习 OCR（光学字符识别）库。 什么是 ncnn_paddleocr？ ncnn_paddleocr 是一个基于 PaddleOCR 和 ncnn 的深度学习 OCR 库。它提供了对图像中的文本进行检测...
paddleocr 模型训练过程记录
March_A的博客
04-30 1923
其中 Global.pretrained_model 指定了预训练模型的路径，"./pretrained_models/ch_PP-OCRv3_det_distill_train/student" 则。通过训练模型，可以得到一个可以用于文字检测的模型。指定了预训练模型的路径，"./pretrained_models/ch_PP-OCRv3_det_distill_train/best_accuracy" 则表示。在训练过程中，模型会不断地根据训练数据调整自己的参数，以提高在验证数据上的准确率。
pp-ocrv4 模型下载
11-14
要下载 pp-ocrv4 模型，可以按照以下步骤进行操作： 1. 首先，打开浏览器，进入 PaddlePaddle 的官方网站。 2. 在网站的搜索栏中输入“pp-ocrv4”模型，然后点击搜索按钮进行搜索。 3. 在搜索结果中，找到适用于自己需求的 pp-ocrv4 模型，并点击进入模型的下载页面。 4. 在下载页面上，可能会有一些使用文档或说明，可根据需要进行查阅。 5. 确定要下载的模型版本后，选择相应的下载链接进行模型的下载。注意选择与自己使用环境相匹配的版本和格式（如支持 Python 或其他语言、支持 CPU 或 GPU）。 6. 点击下载链接后，等待模型的下载完成。下载时间可能因网络状况而有所差异，请耐心等待。 7. 下载完成后，可以根据需要将模型解压缩并保存到指定位置。 需要注意的是，由于 pp-ocrv4 模型是基于 PaddlePaddle 深度学习框架训练的，所以在下载之前，确保已经安装了 PaddlePaddle，并具备相关的运行环境和依赖项。 下载并成功获取 pp-ocrv4 模型后，可以根据自己的实际需求使用该模型进行文字识别、文本检测等相关任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值