3 分钟看完 NVIDIA GPU 架构及演进

近期随着 AI 市场的爆发式增长，作为 AI 背后技术的核心之一 GPU（图形处理器）的价格也水涨船高。GPU 在人工智能中发挥着巨大的重要，特别是在计算和数据处理方面。目前生产 GPU 主流厂商其实并不多，主要就是 NVIDIA、AMD、Intel、高通等厂家。本文将主要聊聊 NVIDIA GPU 的核心架构及架构演进。

深入了解GPU架构

在探讨 NVIDIA GPU 架构之前，我们先来了解一些相关的基本知识。GPU 的概念，是由 NVIDIA 公司在 1999 年发布 Geforce256 图形处理芯片时首先提出，从此 NVIDIA 显卡的芯就用 GPU 来称呼，是专门设计用于处理图形渲染的处理器，主要负责将图像数据转换为可以在屏幕上显示的图像。

与 CPU 不同，GPU 具有数千个较小的内核（内核数量取决于型号和应用），因此 GPU 架构针对并行处理进行了优化。GPU 可以同时处理多个任务，并且在处理图形和数学工作负载时速度更快。GPU 架构是赋予 GPU 功能和独特能力的一切，主要组成包括：

• CUDA 核心：GPU 架构中的主要计算单元，能够处理各种数学和逻辑运算。
• 内存系统：包括 L1、L2 高速缓存和共享内存等，用于存储数据和指令，以减少 GPU 访问主存的延迟。
• 高速缓存和缓存行：用于提高 GPU 的内存访问效率。
• TPC/SM：CUDA 核心的分组结构，一个 TPC 包含两个 SM，每个 SM 都有自己的 CUDA 核心和内存。
• Tensor Core（ 2017 年 Volta 架构引入）：Tensor张量核心，用于执行张量计算，支持并行执行FP32与INT32运算。
• RT Core（2018 年 Turing 架构引入 ）：光线追踪核心，负责处理光线追踪加速。

此外，NVIDIA GPU 架构还包括内存控制器、高速缓存控制器、CUDA 编译器和驱动程序等其他组件，这些组件与SM 和其他核心组件协同工作，可以实现高效的并行计算和内存访问，提高 GPU 的性能和能效。下面我们来详细了解一下这些 GPU 架构每一部分的作用及功能。

Streaming Multiprocessor(SM)