NVIDIA的GPU型号的解读

GPU的首字母的代码

数据中心GPU可以有非常神秘的名称：K80，T4，A100，L40。但这些不仅仅是字母和数字的随机集合。它们对有关 GPU 规格和性能的重要信息进行编码。

在 GPU 的名称中，字母是体系结构名称的第一个字母。例如，A 代表安培，L 代表洛夫莱斯。NVIDIA GPU 架构以著名科学家的名字命名。

不同层的 GPU 针对不同的计算工作负载进行了优化。最近几代的等级包括：

• 4: The smallest GPU of a generation, 4-tier cards have low energy consumption and are best for cost-effective invocation of moderately-sized models.
  4：一代最小的GPU，4层卡能耗低，最适合经济高效地调用中等大小的型号。
• 10: A mid-range GPU optimized for AI inference.
  10：针对 AI 推理优化的中端 GPU。
• 40: A high-end GPU best suited for virtual workstations, graphics, and rendering.
  40：最适合虚拟工作站、图形和渲染的高端 GPU。
• 100: The largest, most expensive, most powerful GPU of a generation. It has the highest core count and most VRAM and is designed for inference on large models as well as training and fine-tuning new models.
  100：一代最大、最昂贵、最强大的 GPU。它具有最高的内核数和最多的VRAM，旨在对大型模型进行推理以及训练和微调新模型。

Understanding NVIDIA’s Datacenter GPU line | Baseten