NVIDIA L40s、A10、A40、A100、A6000横评，哪个GPU 更适合 AI 推理任务？

近年来，随着人工智能技术的发展，特别是深度学习模型的广泛应用，GPU（图形处理单元）作为加速计算的重要硬件，在AI领域扮演着越来越重要的角色。AI推理是指已经训练好的模型对新数据进行预测的过程。与训练阶段相比，推理通常对GPU的要求有所不同，更注重于能效比、延迟以及并发处理能力。本文将从这些角度出发，对比分析NVIDIA 的 L40s、A10、A40、A100、A6000 五款GPU在AI推理任务中的表现。

AI推理任务对GPU的性能要求

正如我们在开篇所讲的，推理任务对 GPU 的要求与模型训练不同，所以在了解如何为推理任务挑选 GPU 之前，我们需要了解推理任务对 GPU 的性能提出了哪些要求。它们主要是：

• 高吞吐量：在许多实际应用中，如自动驾驶、实时语音识别等场景下，系统需要处理大量的并发请求，因此GPU需要具备高吞吐量来保证快速响应。
• 低延迟：特别是在实时应用场景中，如视频流处理，低延迟至关重要。
• 能效比：对于数据中心而言，能效比（性能/功耗）是衡量GPU优劣的关键因素之一。
• 灵活性：支持多种深度学习框架，并能够高效地运行不同类型的神经网络模型。

另一方面，显存对于 AI 推理任务来讲是一个直观重要的指标。大显存对于推理任务的意义在于：

1. 模型加载能力

• 显存大小决定了可以加载的模型：大型深度学习模型（如GPT、BERT等）通常需要较大的显存来加载和运行。如果显存不足，可能需要频繁地将模型切换到CPU，这会显著降低推理速度。

2. 数据处理能力

• 高显存能够处理更多数据：在推理过程中，尤其是在批量处理时，显存能够容纳更多的输入数据，提升吞吐量和效率，减少处理延迟。

3. 支持并行计算

• 多个模型或多个实例的同时推理：较大的显存允许在同一时间运行多个模型或多个推理实例，适用于需要高并发的应用场景，如在线服务和实时推荐系统。

4. 提高计算效率

• 减少内存交换：足够的显存可以减少CPU和GPU之间的内存交换，降低延迟，提升整体推理性能。

5. 处理复杂任务

• 支持更复杂的推理任务：高显存能够支持更复杂的推理任务，例如图像识别、自然语言处理等，这些任务通常需要大量的计算和数据存储。

当然，并不是所有的模型都需要大显存，你需要合理地预估模型所需的显存。目前业界也有一些用于预估模型显存需求的工具，例如 HuggingFace 官方库 Accelerate 推出的 Model Memory Calculator，它是一个在线估算工具，能够直接为用户预估在 HuggingFace 平台上托管的模型的显存需求。用户只需输入 HuggingFace 平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。

GPU 指标对比

目前行业里最热门的 GPU 要数 H100，它采用了Hopper架构，从指标层面也与旧一代 GPU 有明显提升。 H100 性能如此之高，使得它更适合去运行模型训练这种更吃性能的任务。在市面上还有很多仍未停产的GPU，包括NVIDIA的L40s、A10、A40、A100、A6000。

为了更好地理解各款GPU之间的差异，我们首先列出它们的基本规格：

GPU型号	L40s	A10	A40	A6000	A100
发布时间	2022年10月	2021年4月	2020年10月	2020年10月	2020年5月
架构	Ada Lovelace	Ampere	Ampere	Ampere	Ampere
CUDA核心数	18176	9216	10752	10752	6912
FP32浮点性能	91.6 TFLOPS	31 TFLOPS	37.4 TFLOPS	38.7 TFLOPS	19.5 TFLOPS
FP16浮点性能	733 TFLOPS	125 TFLOPS	74.8 TFLOPS	77.4 TFLOPS	312 TFLOPS
INT8浮点性能	1,466 TOPS	250 TOPS	299.3 TOPS	309.7 TOPS	624 TOPS
显存大小	48GB	24GB	48GB	48GB	40GB or 80G
显存带宽	846 GB/s	600 GB/s	696 GB/s	768 GB/s	600 GB/s
TDP (W)	300W	150W	300W	300W	400W

Volta 架构（2017）：代表性产品V100

• 特点：通过引入Tensor Core、优化计算单元设计、采用先进的内存和互连技术、提升多功能性和可编程性，以及优化能耗比

Ampere架构 (2020)：代表性产品A100

• 特点：进一步提升光线追踪性能和AI推理能力，广泛应用于游戏、科学计算和数据中心。

Ada Lovelace架构 (2022)：：代表性产品L40s

• 特点：进一步增强光线追踪性能，支持更高效的DLSS 3.0，优化了游戏性能和能效。

Hopper架构 (2022)：代表性产品H100

• 目前量产最先进的GPU显卡，针对数据中心和高性能计算优化，强调AI和机器学习性能。

Blackwell架构（2024）:代表性产品B200

• 2024年最新发布的架构，目前还未上市。 B200 组成的 GB200其性能是 H100 的 7 倍、训练速度提高了 4 倍。

目前企业的一般选择是，最先进最新型号的GPU显卡，会用于训练。上一代或更久远的GPU显卡用于推理。表格中列出的显卡，是目前会用于推理的显卡。推理一般会关注FP32、FP16 和 INT8 浮点性能参数差异和显存。这些差异影响模型的准确性、速度和资源使用。以下是对每种浮点精度的详细比较及其在推理中的适用性：

1. FP32 (单精度浮点)

• 性能：
  • 最精确的浮点表示，提供最高的数值准确性。
  • 在推理中，计算速度相对较慢，尤其是在大型模型上。
• 适用性：
  • 适合对数值精度要求较高的任务，如一些复杂的模型或需要高精度输出的应用。
  • 在某些情况下，可能会导致较高的延迟和较低的吞吐量。

2. FP16 (半精度浮点)

• 性能：
  • 提供较高的性能和较低的内存占用，通常是 FP32 性能的 2 倍（在支持的硬件上）。
  • 适用于大多数深度学习推理任务，尤其是当模型经过适当的量化和优化时。
• 适用性：
  • 在许多现代深度学习框架和硬件上，FP16 可以保持足够的精度与性能平衡。
  • 特别适合需要实时推理的应用，如视频处理和在线服务。

3. INT8 (整数)

• 性能：
  • 提供最高的推理性能，通常是 FP16 性能的 2-4 倍（在支持的硬件上），显著降低了内存消耗。
  • 推理速度快，延迟低，适合高吞吐量的应用。
• 适用性：
  • 适合于推理阶段，尤其是当模型经过量化并且能容忍较小的精度损失时。
  • 广泛应用于边缘计算和嵌入式设备，因为其低功耗特性。

对比总结

• 准确性 vs. 性能：
  • FP32 提供最高的准确性，但推理速度较慢，适合对精度要求极高的场景。
  • FP16 兼顾性能和准确性，是许多深度学习推理任务的良好选择。
  • INT8 在速度和资源效率上表现最佳，但对于某些模型，可能会带来较大的精度损失。

在选择用于推理的浮点精度时，需根据具体应用需求、模型特性和可接受的精度损失进行权衡。

L40s

L40s是NVIDIA最新推出的GPU，专为生成式人工智能模型的训练和推理设计。它基于Ada Lovelace架构，配备了48GB的GDDR6显存和846GB/s的带宽。在第四代Tensor核心和FP8 Transformer引擎的加持下，L40s提供了超过1.45 PFLOPS的张量处理能力。对于AI推理任务，L40s的高计算能力和大显存容量使其能够轻松应对大规模数据集的处理需求。此外，L40s在功耗和性价比方面也表现出色，有助于降低数据中心的运营成本。

A10

A10是NVIDIA基于Ampere架构构建的一款GPU，专为图形和视频应用以及AI服务而设计。它结合了第二代RT Core、第三代Tensor Core和新型流式传输微处理器，并配备了24GB的GDDR6显存。虽然A10在显存容量上略逊于L40s，但其强大的计算能力和高效的内存管理使其在AI推理任务中仍具有不俗的表现。A10还支持PCI Express 4.0接口，提供了更高的数据传输速度，有助于加速AI推理任务的执行。

A40

A40是NVIDIA的一款中端数据中心GPU。它拥有与A100相同的CUDA核心数和内存容量，但频率较低。A40支持半精度(FP16)和单精度(FP32)计算，适用于各种AI和HPC应用。在AI推理任务中，A40凭借其稳定的性能和适中的价格成为许多企业的首选。然而，与L40s相比，A40在计算能力和显存容量上存在一定差距。

A100

A100是一款基于NVIDIA Lovelace架构的高端GPU，专为深度学习、AI推理等计算密集型任务而设计。它以其卓越的FP16和INT8低精度浮点性能著称，分别达到了312 TFLOPS和624 TOPS，这些性能在加速AI推理过程中尤为关键。同时，A100提供了高达40GB或80GB的显存选项，以及600 GB/s的显存带宽，确保了处理大规模数据集和复杂模型时的数据传输效率。尽管其FP32浮点性能（19.5 TFLOPS）相对较低，但A100通过其架构优化和强大的低精度计算能力，在AI推理方面可以提供不错的性能。

A6000

A6000是NVIDIA为工作站市场推出的一款高端GPU。它提供了高性能的即时光线追踪、AI加速计算和专业图形渲染能力。A6000配备了48GB的GDDR6显存和高达768GB/s的内存带宽，为AI推理任务提供了充足的计算资源和数据存储空间。此外，A6000还支持PCI Express 4.0接口和NVLink技术，可实现高速GPU间通信和数据传输。然而，与专为AI推理设计的L40s相比，A6000在特定场景下的性能可能略逊一筹。

写在最后

选择显卡用于推理时，并不是参数越高越好，因为可能会性能溢出，造成不必要的浪费。同时，价格也是重要因素。并不是越先进的显卡价格越高。目前市场上显卡的定价与其库存密切相关。所以不同厂商对不同显卡的报价往往不一样。综合来看，如果主要关注高吞吐量和灵活性，A6000和A40将是较好的选择；而对于那些更加重视能效比的应用场景，A6000则可能更为合适。A10虽然在某些方面不如其他三款GPU，但在一些不需要极致性能的场合下也能提供良好的性价比。另外，如果仅看性能，A10、A40、A6000 的性能差异不太大，可以互相作为平替备选。不同云厂商之间会有意的避免提供相同卡型和配置的GPU云主机，以此避免恶性价格战。FP32、FP16 和 INT8 浮点性能参数差异某些应用场景可以向成本妥协，但是显存大小无法妥协。在目前常见的文生图、视频识别等应用场景，显存会成为制约推理效率的重要一环。在这种场景下，A10显著差于A40和A6000。

用户在选择时，应当依据特定的应用需求、预算，结合测试结果和报价，以及现有的基础设施，来进行最终决策。

A40，海外GPU基本不供货。A100在这些显卡中发行时间最早，浮点性能不算最好的。一般情况下，海外推理显卡一般在A10、A6000、L40s中进行选择。

• 模型参量小于7B时，可以选择A10
• 模型参量大于7B时，最好选择A6000、L40s

三者价格排序为：A40<A6000<L40s。不过，NVIDIA 的 GPU 在中国很难买到，尤其是 A6000。如果你需要高性能的 GPU 来运行推理任务，那么购买搭载了 GPU 的云服务可能是更方便且划算的方式。DigitalOcean 旗下的 Paperspace 平台是专注 AI 模型训练的云 GPU 服务器租用平台，提供了包括 A5000、A6000、H100 等强大的 GPU 和 IPU 实例，以及透明的定价，可以比其他公共云节省高达70%的计算成本。如果你感兴趣，可以联系 DigitalOcean 中国区独家战略合作伙伴卓普云。