TensorRT对yolov12推理加速(windows下推理时间大幅下降)

TensorRT 是 NVIDIA 开发的高性能深度学习推理引擎，旨在优化神经网络模型并加速其在 NVIDIA GPU 上的推理性能。它支持多种深度学习框架，并提供一系列优化技术，以实现更高的吞吐量和更低的延迟。

理论上可以对每一代的yolo模型加速推理

YOLOv12 模型简介：

YOLO（You Only Look Once）系列模型以其高效的目标检测能力广受欢迎。YOLOv12 是该系列的最新版本，具有更高的精度。虽然引入FlashAttention，但基于官方对比，yolov12相较于之前的yolo版本，推理速度下降。

环境准备:

在开始之前，确保已安装以下软件：

• CUDA：用于 GPU 加速。
• cuDNN：NVIDIA 的深度神经网络库。

安装TensorRT
TensorRT Download | NVIDIA Developer

选择自己要下载的版本，我以TensorRT10为例。