pointpillars点云算法TensorRT环境加速系列一

简述

　　近两年传统视觉方式开始往3d点云上面进行学习，以此来达到现实三维空间中的目标检测。上一篇文章second.pytorch环境配置记录简单写了一下second.pytorch算法的环境配置。当然，second.pytorch代码已经集成了pointpillars算法，不过经过一些修改。我对算法原始作者代码nutonomy/second.pytorch的代码进行一定程度的修改，以此能够有效的将模型导出成为onnx中间件（分为pfe.onnx与rpn.onnx两个onnx模型），最后通过TensorRT来载入加速模型推理速度。注：将pointpillars算法pytorch模型转换成为中间件IR：onnx，我参考了网上的k0suke-murakami/train_point_pillars，并且对其里面的代码进行修改，because 这部分代码不再进行维护了，所以我修改其中网络小功能以及一些bugs. 当然，很感谢k0suke-murakami做出的工作，对我很受启发。

操作步骤

Step 1 : 首先当然是下载代码与对应的docker环境

我在nutonomy/second.pytorch修改的代码地址如下：

git clone https://github.com/SmallMunich/nutonomy_pointpillars.git

pointpillars算法所对应的docker环境：

docker pull smallmunich/suke_pointpillars:v0

docker将镜像pull下来之后，进入容器后激活pointpillars运行虚拟环境：

conda activate pointpillars

Step 2: 训练与导出ONNX模型操作：
　　训练与数据准备步骤与原作者官网相同，做过训练的可以跳过此步骤：

生成预训练数据：

└── KITTI_DATASET_ROOT
       ├── training    <-- 7481 train data
       |   ├── image_2 <-- for visualization
       |   ├── calib
       |   ├── label_2
       |   ├── velodyne
       |   └── velodyne_reduced <-- empty directory
       └── testing     <-- 7580 test data
           ├── image_2 <-- for visualization
           ├── calib
           ├── velodyne
           └── velodyne_reduced <-- empty directory

数据格式如上，数据路径是你的存储kitti路径：

KITTI_DATASET_ROOT=/data/sets/kitti_second/ 

Create-kitti-infos

python create_data.py create_kitti_info_file --data_path=KITTI_DATASET_ROOT

Create-reduced-pointcloud

python create_data.py create_reduced_point_cloud --data_path=KITTI_DATASET_ROOT

Create-groundtruth-database-infos

python create_data.py create_groundtruth_database --data_path=KITTI_DATASET_ROOT

Modify-config-file

train_input_reader: {
  ...
  database_sampler {
    database_info_path: "/path/to/kitti_dbinfos_train.pkl"
    ...
  }
  kitti_info_path: "/path/to/kitti_infos_train.pkl"
  kitti_root_path: "KITTI_DATASET_ROOT"
}
...
eval_input_reader: {
  ...
  kitti_info_path: "/path/to/kitti_infos_val.pkl"
  kitti_root_path: "KITTI_DATASET_ROOT"
}

训练步骤：

cd ~/second.pytorch/second
python ./pytorch/train.py train --config_path=./configs/pointpillars/car/xyres_16.proto --model_dir=/path/to/model_dir

进行评估模型：

cd ~/second.pytorch/second/
python pytorch/train.py evaluate --config_path= configs/pointpillars/car/xyres_16.proto --model_dir=/path/to/model_dir

　　如果模型评估结束，无错误，接下来可以进入模型中间件转换的步骤啦.

算法pytorch模型ONNX导出为pfe.onnx与rpn.onnx

　　在运行pytorch模型导出为onnx模型之前，你需要将工程nutonomy_pointpillars下面second/pytorch/models/voxelnet.py 文件中的rows: 686 这行代码取消注释，让其返回voxel_features的特征；取消注释之后，下面运行如下命令：

cd ~/second.pytorch/second/
python pytorch/train.py onnx_model_generate --config_path= configs/pointpillars/car/xyres_16.proto --model_dir=/path/to/model_dir

　　然后，你会在nutonomy_pointpillars/second文件夹下面看见两个onnx文件分别是：pfe.onnx与rpn.onnx模型。后续章节会继续分析pointpillars相关代码与TensorRT引擎下的速度性能分析，敬请关注。

小结

　　开始尝试做3d点云目标检测算法有一段时间了，pointpillars算法从算力与精度上来看是目前比较优秀的3d-object-detection算法。pointpillars算法最突出的是提出一种柱形的编码功能，点云依然采取常用的体素组织起来。对比VoxelNet 直接采用体素3D卷积，SECOND的稀疏卷积，pointpillars采用pillar方式转换成为2D卷积来加深网络，以此来提高效率与精度。至于后面接SSD还是RPN等网络，只是相对于2d卷积下的网络根据应用场景与需求来进行选取。

参考文献

https://arxiv.org/abs/1812.05784

https://github.com/nutonomy/second.pytorch

https://zhuanlan.zhihu.com/p/67314405

https://github.com/k0suke-murakami/train_point_pillars