[转载] NVIDIA 硬件以及每个硬件支持的精度模式

内容摘自官方文档：
https://docs.nvidia.com/deeplearning/tensorrt/support-matrix/index.html#hardware-precision-matrix

The following table lists NVIDIA hardware and which precision modes that each hardware supports. TensorRT supports all NVIDIA hardware with capability SM 5.0 or higher. It also lists the availability of DLA on this hardware. Refer to the following tables for the specifics.

下表列出了 NVIDIA 硬件以及每个硬件支持的精度模式。 TensorRT 支持所有具有 SM 5.0 或更高功能的 NVIDIA 硬件。 它还列出了此硬件上 DLA 的可用性。 具体请参考下表。

Note: Support for CUDA compute capability version 3.0 has been removed. Support for CUDA compute capability versions below 5.0 may be removed in a future release and is now deprecated.

注意：已删除对 CUDA 计算能力版本 3.0 的支持。 未来版本中可能会删除对 5.0 以下的 CUDA 计算能力版本的支持，现在已弃用。

关于 CUDA Compute Capability 可以参考：
https://blog.csdn.net/HaoZiHuang/article/details/125834480
或者
https://developer.nvidia.com/cuda-gpus

Table 4. Supported Hardware

CUDA Compute Capability	Example Device	TF32	FP32	FP16	INT8	FP16 Tensor Cores	INT8 Tensor Cores	DLA
8.7	NVIDIA DRIVE AGX Orin™	Yes	Yes	Yes	Yes	Yes	Yes	Yes
8.6	NVIDIA A10	Yes	Yes	Yes	Yes	Yes	Yes	No
8.0	NVIDIA A100/GA100 GPU	Yes	Yes	Yes	Yes	Yes	Yes	No
7.5	NVIDIA T4	No	Yes	Yes	Yes	Yes	Yes	No
7.2	Jetson AGX Xavier	No	Yes	Yes	Yes	Yes	Yes	Yes
7.0	NVIDIA V100	No	Yes	Yes	Yes	Yes	No	No
6.1	NVIDIA P4	No	Yes	No	Yes	No	No	No
6.0	NVIDIA P100	No	Yes	Yes	No	No	No	No
5.2	NVIDIA M4	No	Yes	No	No	No	No	No
5.0	Quadro K2200	No	Yes	No	No	No	No	No

Table 5. List of Supported Precision Mode per Hardware

CUDA Compute Capability	Example Device	FP32	FP16	INT8	FP16 Tensor Cores	INT8 Tensor Cores	DLA
3.7	NVIDIA K80	Yes	No	No	No	No	No
3.5	NVIDIA K40	Yes	No	No	No	No	No

Table 6. List of Supported Precision Mode per Hardware

CUDA Compute Capability	Example Device	FP32	FP16	INT8	FP16 Tensor Cores	INT8 Tensor Cores	DLA
3.0	NVIDIA K10	Yes	No	No	No	No	No

最后必须说明一下：

根据老黄的文档，这个计算能力不是计算性能，他只是标识了gpu能做什么样的工作。

如果计算能力在5.2（不含）以下，根本就不能用cuda。

要比较计算性能，可以参考flops参数跟显卡的售价。

摘自知乎：
https://www.zhihu.com/question/44769165/answer/318719848

小白要注意辨别，CUDA版本和显卡CUDA Compute Capability 二者不是一个东西！！！！