PaddleOCR使用笔记-端侧部署之编译出opt工具（失败）

PaddleOCR使用笔记

Linux环境下

端侧部署之编译出opt工具（失败）

1. 准备环境

运行准备

• 电脑（编译Paddle Lite）
• 安卓手机（armv7或armv8）

注意： PaddleOCR 移动端部署当前不支持动态图模型，只支持静态图保存的模型【补充：现在支持了，这是比较早期的笔记】。当前PaddleOCR静态图的分支是develop。

1.1 准备交叉编译环境

交叉编译环境用于编译 Paddle Lite 和 PaddleOCR 的C++ demo。 支持多种开发环境，不同开发环境的编译流程请参考对应文档。

1. Docker

(1) 准备Docker镜像

docker pull paddlepaddle/paddle-lite:latest

(2) 启动Docker容器：在拉取Paddle-Lite仓库代码的上层目录，执行如下代码，进入Docker容器：

docker run -it \
  --name paddlelite_docker \
  -v $PWD/Paddle-Lite:/Paddle-Lite \
  --net=host \
  paddlepaddle/paddle-lite /bin/bash

1.2 准备预测库

• 编译Paddle-Lite得到预测库，Paddle-Lite的编译方式如下：

git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite
# 切换到Paddle-Lite release/v2.7 稳定分支
git checkout release/v2.7
./lite/tools/build_android.sh  --arch=armv8  --with_cv=ON --with_extra=ON

通过编译Paddle-Lite得到的预测库位于 Paddle-Lite/build.lite.android.armv8.gcc/inference_lite_lib.android.armv8/文件夹下。 预测库的文件目录如下：

inference_lite_lib.android.armv8/
|-- cxx                                        C++ 预测库和头文件
|   |-- include                                C++ 头文件
|   |   |-- paddle_api.h
|   |   |-- paddle_image_preprocess.h
|   |   |-- paddle_lite_factory_helper.h
|   |   |-- paddle_place.h
|   |   |-- paddle_use_kernels.h
|   |   |-- paddle_use_ops.h
|   |   `-- paddle_use_passes.h
|   `-- lib                                           C++预测库
|       |-- libpaddle_api_light_bundled.a             C++静态库
|       `-- libpaddle_light_api_shared.so             C++动态库
|-- java                                     Java预测库
|   |-- jar
|   |   `-- PaddlePredictor.jar
|   |-- so
|   |   `-- libpaddle_lite_jni.so
|   `-- src
|-- demo                                     C++和Java示例代码
|   |-- cxx                                  C++  预测库demo
|   `-- java                                 Java 预测库demo

2 开始运行

2.1 模型优化

Paddle-Lite 提供了多种策略来自动优化原始的模型，其中包括量化、子图融合、混合调度、Kernel优选等方法，使用Paddle-lite的opt工具可以自动 对inference模型进行优化，优化后的模型更轻量，模型运行速度更快。

模型优化需要Paddle-Lite的opt可执行文件，可以通过编译Paddle-Lite源码获得，编译步骤如下：

# 如果准备环境时已经clone了Paddle-Lite，则不用重新clone Paddle-Lite
git clone https://github.com/PaddlePaddle/Paddle-Lite.git
cd Paddle-Lite
git checkout release/v2.7
# 启动编译
./lite/tools/build.sh build_optimize_tool

./lite/tools/build.sh build_optimize_tool

git checkout release/v2.7
rm -rf third-party && git checkout third-party
./lite/tools/build.sh build_optimize_tool

总是第三方库失败，那就通过https://github.com/PaddlePaddle/Paddle-Lite/tree/release/v2.7/third-party中的链接，跳转到第三方库，然后下载。

自己下载下来后，上传到third-party目录，并注释/Paddle-Lite/lite/tools/build.sh中的function prepare_thirdparty的内容。

再试一遍：

git checkout release/v2.7
./lite/tools/build.sh build_optimize_tool

还是失败了。😢

编译完成后，opt文件位于build.opt/lite/api/下，可通过如下方式查看opt的运行选项和使用方式；

cd build.opt/lite/api/
./opt

• 一直不成功，自己下载一个opt工具试试：https://paddle-lite.readthedocs.io/zh/latest/quick_start/release_lib.html#opt

官网更新了2.8版本的。下载下载试一试

经过多次尝试，最终虽然编译出了工具，但是通过编译出的opt工具转出来的端侧模型并不能正常使用（原因：版本不匹配）。后续会有成功的笔记。

创作不易，喜欢的话加个关注点个赞，❤谢谢谢谢❤