walkersV的博客

翻译 安工-天池Docker训练营学习笔记

基于TensorRT作为高性能深度学习支持引擎预训练FCN网络TensorRT作为高性能深度学习支持引擎，对于一般的深度学习项目，训练时为了加快速度，会使用多GPU分布式训练。但在部署推理时，为了降低成本，往往使用单个GPU机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如caffe，TensorFlow等。由于训练的网络模型可能会很大（比如，inception，resnet等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这