NVIDIA Jetson Xavier NX 跑通 Paddle-Inference-Demo（C++ YOLOv3图像检测样例）

项目地址：https://github.com/PaddlePaddle/Paddle-Inference-Demo

一、获取paddle_inference预测库

下载paddle_inference预测库并解压存储到Paddle-Inference-Demo/c++/lib目录，lib目录结构如下所示

根据自己的硬件和软件环境下载对应的预测库，paddle_inference下载地址：https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/05_inference_deployment/inference/build_and_install_lib_cn.html

Paddle-Inference-Demo/c++/lib/
├── CMakeLists.txt
└── paddle_inference
    ├── CMakeCache.txt
    ├── paddle
    │   ├── include                                    C++ 预测库头文件目录
    │   │   ├── crypto
    │   │   ├── internal
    │   │   ├── paddle_analysis_config.h
    │   │   ├── paddle_api.h
    │   │   ├── paddle_infer_declare.h
    │   │   ├── paddle_inference_api.h                 C++ 预测库头文件
    │   │   ├── paddle_mkldnn_quantizer_config.h
    │   │   └── paddle_pass_builder.h
    │   └── lib
    │       ├── libpaddle_inference.a                  C++ 静态预测库文件
    │       └── libpaddle_inference.so                 C++ 动态态预测库文件
    ├── third_party
    │   ├── install                                    第三方链接库和头文件
    │   │   ├── cryptopp
    │   │   ├── gflags
    │   │   ├── glog
    │   │   ├── mkldnn
    │   │   ├── mklml
    │   │   ├── protobuf
    │   │   └── xxhash
    │   └── threadpool
    │       └── ThreadPool.h
    └── version.txt

二、获取YOLOv3模型

wget https://paddle-inference-dist.bj.bcebos.com/Paddle-Inference-Demo/yolov3_r50vd_dcn_270e_coco.tgz
tar xzf yolov3_r50vd_dcn_270e_coco.tgz

三、样例编译

1）修改compile.sh

打开compile.sh，对以下的几处信息进行修改：

# 根据预编译库中的version.txt信息判断是否将以下三个标记打开
WITH_MKL=ON
WITH_GPU=ON
USE_TENSORRT=OFF

# 配置预测库的根目录
LIB_DIR=${work_path}/../lib/paddle_inference

# 如果上述的WITH_GPU 或 USE_TENSORRT设为ON，请设置对应的CUDA， CUDNN， TENSORRT的路径。
CUDNN_LIB=/usr/lib/x86_64-linux-gnu/
CUDA_LIB=/usr/local/cuda/lib64
TENSORRT_ROOT=/usr/local/TensorRT-6.0.1.5

我的预测编译库中的版本信息如下：

GIT COMMIT ID: ffa88c31c2da5090c6f70e8e9b523356d7cd5e7f
WITH_MKL: OFF
WITH_MKLDNN: OFF
WITH_GPU: ON
CUDA version: 10.2
CUDNN version: v8.0
CXX compiler version: 7.5.0
WITH_TENSORRT: ON
TensorRT version: v7

根据自己的情况来，我修改为如下：

WITH_MKL=OFF
WITH_GPU=ON
USE_TENSORRT=ON

LIB_DIR=${work_path}/../lib/paddle_inference
CUDNN_LIB=/usr/lib/aarch64-linux-gnu/
CUDA_LIB=/usr/local/cuda/lib64
TENSORRT_ROOT=/usr/include/aarch64-linux-gnu

运行

bash compile.sh

这里要注意，光修改这个文件不行，会报错：

CMake Error at CMakeLists.txt:89 (file):
  file failed to open for reading (No such file or directory):

    /usr/src/aarch64-linux-gnu//include/NvInfer.h


CMake Error at CMakeLists.txt:93 (file):
  file failed to open for reading (No such file or directory):

    /usr/src/aarch64-linux-gnu//include/NvInferVersion.h

提示找不到 NvInfer.h 和 NvInferVersion.h 这两个文件，我们需要把这两个文件放在 /usr/src/aarch64-linux-gnu//include 下

cd /usr/include/aarch64-linux-gnu
sudo mkdir build
sudo cp NvInfer.h ./include/
sudo cp NvInferVersion.h ./include

做完这一步运行还会报错，提示找不到文件

make[2]: *** No rule to make target '/usr/include/aarch64-linux-gnu/lib/libnvinfer.so', needed by 'yolov3_test'.  Stop.

make[2]: *** No rule to make target '/usr/include/aarch64-linux-gnu/lib/libnvinfer_plugin.so', needed by 'yolov3_test'.  Stop.

需要把 libnvinfer.so’ 和 libnvinfer_plugin.so 放在 /usr/src/aarch64-linux-gnu/lib 下，还是在刚才的目录下，把这两个文件加入到 /usr/src/aarch64-linux-gnu//lib 下。

sudo mkdir lib
sudo cp /usr/lib/aarch64-linux-gnu/libnvinfer.so ./lib/
sudo cp /usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so ./lib/

上面要加的四个文件每个人可能会不一样，根据提示的报错信息修改就可以了。

然后运行 bash compile.sh， 编译成功后会在目录下产生build目录。

2） 运行样例

运行结束后，程序会将模型输出个数打印到屏幕，说明运行成功。