超级会员免费看
TensorRT是NVIDIA的高性能深度学习推理加速引擎，通过算子融合、concat层消除等优化技术提高模型在GPU上的运行效率。它支持多种深度学习框架，并能将模型转换为中间表示ONNX。最新版本为2021.4.21。工作流程包括模型解析、计算图优化、序列化与反序列化，以及在执行时的资源分配。算子融合通过合并连续层减少调用开销和内存传输，而concat层消除则通过非拷贝方式减少内存访问。TensorRT还自动选择最佳算法并进行硬件优化。
一，概述
TensorRT 是 NVIDIA 官方推出的基于 CUDA 和 cudnn 的高性能深度学习推理加速引擎，能够使深度学习模型在 GPU 上进行低延迟、高吞吐量的部署。采用 C++ 开发，并提供了 C++ 和 Python 的 API 接口，支持 TensorFlow、Pytorch、Caffe、Mxnet 等深度学习框架，其中 Mxnet、Pytorch 的支持需要先转换为中间模型 ONNX 格式。截止到 2021.4.21 日， TensorRT 最新版本为 v7.2.3.4。
延迟和吞吐量的一般解释：
- 延迟 (
Latency): 指执行一个操作所花的时间。 - 吞吐量 (
Throughput): 在单位时间内，可执行的运算次数。
二，TensorRT 工作流程
在描述 TensorRT 的优化原理之前，需要先了解 TensorRT 的工作流程。首先输入一个训练好的 F
订阅专栏 解锁全文
380
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
