BEVDet-TensorRT C++实现， Orin实现34FPS

项目地址： github

介绍

BEVDet是一个基于BEV的多相机3D目标检测模型。本项目实现了BEVDet的C++版本，并用TensorRT加速推理。
本项目实现了:

• 长时序（long-term）模型的推理
• Depth模型的推理
• 在NVIDIA A4000上，BEVDet-r50-lt-depth模型中，TRT FP32模型推理速度比PyTorch FP32模型快2.38倍, TRT FP16模型比PyTorch FP32模型快5.21倍
• 在Jetson AGX Orin上进行推理，FP16模型推理时间在29ms左右，实现了实时化
• 实现了Dataloader，可以在nuScenes数据集上进行测试

本项目的特点：

• 集Resize、Crop与Normalization于一体的预处理CUDA Kernel
• Preprocess的CUDA kernnel部分，实现了Nearest插值和Bicubic插值
• C++与CUDA kernel实现的过往帧BEV特征对齐
• 多线程+多数据流NvJPEG
• Scale-NMS

推理速度

下表是BEVDet-R50-4DLongterm模型在NVIDIA A4000与Jetson AGX Orin上面的推理速度 ，模型使用前8帧的BEV Feature。

	Preprocess	Image stage	BEV pool	Align Feature	BEV stage	Postprocess	mean Total
NVIDIA A4000 FP32	0.478	16.559	0.151	0.899	6.848	0.558	25.534
NVIDIA A4000 FP16	0.512	8.627	0.168	0.925	2.966	0.619	13.817
Jetson AGX Orin FP16	2.816	17.025	0.571	2.111	5.747	0.919	29.189
Jetson AGX Orin FP32	2.800	38.09	0.620	2.018	11.893	1.065	55.104

参考 : https://github.com/LCH1238/bevdet-tensorrt-cpp