yolov4-TensorRT7速度与显存记录表
精度 | 模式 | 图像尺寸 | 类别数 | 批次 | 线程数 | 速度 | 显存 |
---|---|---|---|---|---|---|---|
FP32 | 2Core15W | 512*512 | 3 | 1 | 1 | 130ms | 2.4G |
FP32 | 2Core15W | 512*512 | 3 | 1 | 2 | 210ms | 3.8G |
FP16 | 2Core15W | 512*512 | 3 | 1 | 1 | 55ms | 1.5G |
FP16 | 2Core15W | 512*512 | 3 | 1 | 2 | 55ms | 2.0G |
说明:
1.模式是指Jetson设备的功耗模式,对于Jetson XAVIER NX来说,总共有5种模式,如果想达到最大推理速度的话,选择2core 15W模式。在主界面的右上角有个MODE的选择,选择2core 15W模式即可。
2.速度是指平均每张图所需要的推理时间。
3.对于Jetson设备来说,CPU和GPU共用,所以显存就是内存。对于Jetson XAVIER NX来说内存总共8G。
而查看的方式不能直接使用nvidia-smi的命令行,必须安装jetson-stats。
具体操作方式可参考以下博客。
Jetson设备上查看显存(内存)——jetson-stats