安卓端部署PPOCR的ncnn模型——模型转换

综述

最近在研究OCR模型（包括文本检测和文本识别）在安卓端的部署，由于这里用到的算法是基于百度研发的PPOCR算法，最终需要在安卓端落地应用，部署框架使用的是ncnn框架，中间涉及模型转换和部署的问题，所以特意在此做一个记录，本文以百度开源的算法模型为初始模型主要讲一下训练模型如何转换为安卓端部署模型的问题。

说到模型转换，自然会涉及原模型（推理/训练模型）、中间模型（onnx）和目标模型（ncnn模型），原模型对应训练框架、目标模型对应部署框架。首先是训练框架（模型）：我们用到的是百度的飞桨（PaddlePaddle），它包含了从训练到部署的全套工具，由于公司之前一直用ncnn作为部署框架的，也不方便为了这个算法去直接换框架，所以要保持原有部署框架不变只能从模型转换作为突破口了。其次是中间模型：我们选择的是微软开发的onnx，它也是原模型与目标模型的中间桥梁，目前市面上绝大多数深度学习训练框架都支持训练模型到onnx模型的转换，同时绝大多数部署框架也支持onnx到部署模型的转换。最后是部署框架：我们用到的是腾讯优图实验室开发的ncnn，它主要是移动端深度学习模型的部署工具，提升深度学习模型的推理性能。

废话不多说，开始正题

准备工作：

模型：

原模型这里用的是百度开源的PPOCR模型下载地址（model_list）这里具体用到的是

文本检测的**ch_ppocr_mobile_v2.0_det**（推理模型）
文本识别的**ch_ppocr_mobile_v2.0_rec**（推理模型）

转换环境：

# 系统环境
OS：Ubuntu 18.04
Python 3.6
# 工具环境
Paddle2ONNX
ONNXRuntime
onnx-simplifier
ncnn
PaddleOCR

构建环境命令：

$ pip3 install onnxruntime==1.9.0 --user
$ pip3 install onnx-simplifier --user
$ pip3 install paddle2onnx --user
$ sudo apt install build-essential git cmake libprotobuf-dev protobuf-compiler libvulkan-dev vulkan-utils libopencv-dev

ncnn部署框架模型转换工具编译命令：

$ git clone https://github.com/Tencent/ncnn.git
$ cd {Your_Path}/ncnn/
$ mkdir -p build
$ cd build
$ cmake ..
$ make -j4

转换操作：

paddlepaddle->onnx

# 文本检测
$ paddle2onnx--model_dir {your_ocr_det_paddlepaddle_model_root_path} \
--model_filename {your_ocr_det_pdmodel_file_name} \
--params_filename {your_ocr_det_pdiparams_file_name} \
--save_file {your_ocr_det_onnx_file_name} \
--opset_version 10 \
--input_shape_dict="{'x':[-1,3,-1,-1]}"\
--enable_onnx_checker True
# 文本识别
$ paddle2onnx--model_dir {your_ocr_rec_paddlepaddle_model_root_path} \
--model_filename {your_ocr_rec_pdmodel_file_name} \
--params_filename {your_ocr_rec_pdiparams_file_name} \
--save_file {your_ocr_rec_onnx_file_name} \
--opset_version 10 \
--enable_onnx_checker True

如若使用训练模型进行转换，则需要下载和使用PaddleOCR先将训练模型转为推理模型
具体操作如下：

$ git clone https://github.com/PaddlePaddle/PaddleOCR.git
# 文本检测训练模型->推理模型
$ python3 {your_path}/PaddleOCR/tools/export_model.py -c {your_path}/configs/det/ch_ppocr_v2.0/ch_det_mv3_db_v2.0.yml -o Global.pretrained_model={your_path}/ch_ppocr_mobile_v2.0_det_train/best_accuracy Global.save_inference_dir={your_path}/inference/det_db/
# 文本识别训练模型->推理模型
$ python3 {your_path}/tools/export_model.py -c {your_path}/configs/rec/ch_ppocr_v2.0/rec_chinese_lite_train_v2.0.yml -o Global.pretrained_model={your_path}/ch_ppocr_mobile_v2.0_rec_train/best_accuracy  Global.save_inference_dir={your_path}/inference/rec_crnn/

最后得到的det_db和rec_crnn目录文件如下：

inference/{model_root_path}/
    ├── inference.pdiparams         # 检测inference模型的参数文件
    ├── inference.pdiparams.info    # 检测inference模型的参数信息
    └── inference.pdmodel           # 检测inference模型的program文件

接下来再回到上一步进行转换操作。

onnx->ncnn

$ cd {Your_Path}/ncnn/build/onnx/
# 文本检测
$ python3 -m onnxsim {your_ocr_det_onnx_file_path} {your_ocr_det_onnx_sim_file_path} --dynamic-input-shape --input-shape "1,3,640,640"
$ ./onnx2ncnn {your_ocr_det_onnx_file_path} {your_ocr_det_ncnn_param_file_path} {your_ocr_det_ncnn_bin_file_path}
# 文本识别
$ python3 -m onnxsim {your_ocr_rec_onnx_file_path} {your_ocr_rec_onnx_sim_file_path} --input-shape "1,3,32,320"
$ ./onnx2ncnn {your_ocr_rec_onnx_sim_file_path} {your_ocr_rec_ncnn_param_file_path} {your_ocr_rec_ncnn_bin_file_path}

注意：文本检测与文本识别的onnxsim命令区别，虽然两者的输入shape都未指定具体值，但是仍然需要指定一个shape，否则进行onnx2ncnn时会报错。

这样我们就得到了完整的PPOCR文本检测算法和文本识别算法里的对应ncnn模型，可以进行进一步的部署与推理了。