文章-深入GPU硬件架构及运行机制 学习后记

​参考文章：https://www.cnblogs.com/timlly/p/11471507.html

---

注：部分回答由 OpenAI 的 GPT 语言模型生成（主要是有序列表中包含的内容），生成的内容可能不完全准确或适用于所有情况。

---

为什么GPU中执行的指令如果有分支和循环会显著增加GPU消耗？

在 GPU 编程中， “分支会显著增加时间消耗”指的是当一个线程块（warp）中的不同线程遇到不同执行路径（分支）时，可能导致的性能下降。这种现象通常被称为 线程发散（thread divergence）。

1. 什么是线程发散？

在 GPU 中，线程通常按 warp（在 NVIDIA GPU 中，通常是 32 个线程一组）来调度和执行。一个 warp 中的所有线程是 锁步（lock-step） 执行的，也就是说，同一个 warp 中的所有线程在同一时间执行相同的指令。

然而，当 warp 中的线程遇到 条件分支（例如 if-else 或 switch）时，不同线程可能会走不同的路径。此时，warp 会分裂成多个执行路径，每个路径对应一组需要执行的指令。

2. 为什么分支会显著增加时间消耗？

当 warp 中的线程走向不同的执行路径时，GPU 不会同时执行多个分支。相反，它会 依次执行每一个分支路径，直到所有线程完成。这就意味着：

• 如果一个 warp 中的 32 个线程只有部分进入了 if 分支，其他线程则进入了 else 分支，那么 GPU 会首先执行 if 分支的指令，然后再执行 else 分支的指令。
• 在执行 if 分支时，进入 else 分支的线程会被 遮掩（masked out），即它们的执行结果不更新，直到其分支指令被执行为止。反之亦然。

这种行为会导致 warp 中的线程 无法并行执行，而是以 顺序执行 的方式来完成所有可能的分支路径。结果就是，如果有多个分支存在，warp 的执行时间会被拉长，因为每个分支的执行时间都被累加了。

3. 分支增加时间消耗的例子

举个简单的例子：

if (condition) {
    // 代码块 A
} else {
    // 代码块 B
}

假设一个 warp 中的 32 个线程中，有 16 个线程满足 condition 为 true，而另外 16 个线程满足 condition 为 false。

• 第一步：warp 中的所有线程都会首先执行满足 condition 为 true 的指令（代码块 A），但在执行这部分时，满足 condition 为 false 的线程会被遮掩。
• 第二步：然后，warp 会执行满足 condition 为 false 的指令（代码块 B），此时满足 condition 为 true 的线程会被遮掩。

这意味着整个 warp 需要两次时间来完成这个分支的指令执行（代码块 A 和代码块 B 的执行时间之和），而不是理想情况下的一次。如果没有分支，所有 32 个线程同时执行同一段代码，warp 只需要一次时间来完成指令执行。

4. 复杂分支和循环的影响

分支的复杂性、循环的存在以及循环内部的条件跳转都会进一步放大这种时间消耗。例如：

• 循环次数不同：如果 warp 中的不同线程执行循环的次数不同（例如 for 循环中的计数 n 不是一个常量，或有的线程 break 提前退出了），这也会导致线程发散，因为 GPU 必须执行完最长的路径。
• 深度嵌套的条件判断：更多层次的嵌套 if-else 或 switch 语句会引入更多潜在的分支，增加了需要依次执行的可能路径数目，进一步增加了执行时间。

5. 如何优化分支以减少时间消耗？

为了减少分支引起的时间消耗，可以采取以下优化策略：

1. 减少条件分支：尽量减少 GPU 核心代码中的条件分支，使用简单的数学表达式或逻辑操作来替代。

2. 使用数据结构优化：如果可以，将条件逻辑转化为查表操作（如使用查找表、线性插值等），以避免分支跳转。

3. 分支整理：重构代码，使得在 warp 内的线程能够更多地遵循相同的路径，减少线程发散。例如，可以在预处理时按条件进行分组，使同一组中的所有线程执行相同的分支路径。

4. 使用 Warp Shuffle 操作：如果算法允许，可以使用 CUDA 中的 warp shuffle 操作来减少内存访存，增加并行度。

总结

分支引起的显著时间消耗来源于 线程发散，它导致 warp 中的线程需要依次执行多个路径，而不是并行执行一个路径。减少或避免线程发散是优化 GPU 程序性能的一个关键点。

SIMD 和 SIMT的区别

个人认为最大的一个区别是SIMT能够处理更复杂的控制流，例如分支和循环。两者都具有lock-step执行的特征（即在同一时间执行相同的指令），但SIMT可以通过遮掩（masked out）来使其执行结果不更新，从而适合更复杂的并行计算任务。
但SIMT的遮掩机制也可能导致ALU的利用率很低。

同样在for循环中，所有ALU需要等循环次数最多的那个ALU执行完才能进入下一组指令。

Early-Z

通过在片元着色器前增加一个早期深度测试（常规的深度测试依然保留），来减少不必要的片元着色计算。但是存在部分情况会导致Early-Z失效。

垂直同步：V-Sync 双缓冲虽然能解决效率问题，但会引入一个新的问题。当视频控制器还未读取完成时，即屏幕内容刚显示一半时，GPU 将新的一帧内容提交到帧缓冲区并把两个缓冲区进行交换后，视频控制器就会把新的一帧数据的下半段显示到屏幕上，造成画面撕裂现象：

为了解决这个问题，GPU 通常有一个机制叫做垂直同步（简写也是V-Sync），当开启垂直同步后，GPU 会等待显示器的 VSync
信号发出后，才进行新的一帧渲染和缓冲区更新。这样能解决画面撕裂现象，也增加了画面流畅度，但需要消费更多的计算资源，也会带来部分延迟。

关于ALU，SM，Warp和线程之间的关系

在 GPU 架构中，线程、算术逻辑单元（ALU）、流多处理器（SM, Streaming Multiprocessor） 和 warp 是密切相关的概念，它们共同构成了 GPU 高度并行计算的核心。在理解它们的关系之前，先分别了解每个概念：

1. 线程（Thread）

• 定义: GPU 上的线程是计算的基本单位，每个线程负责处理一个片元（像素）、顶点、或其他数据元素的计算任务。
• 数量: 在 GPU 上，可以同时运行成千上万个线程，借助高度并行的架构来加速计算。
• 独立性: 每个线程可以独立执行指令并有自己的寄存器和局部内存，但同一批次（如一个 warp）的线程执行相同的指令。

2. 算术逻辑单元（ALU, Arithmetic Logic Unit）

• 定义: ALU 是 GPU 核心执行单元，负责执行简单的算术和逻辑操作（如加法、乘法、逻辑运算等）。
• 功能: 每个 ALU 可以执行一个线程的指令（如浮点计算或整数运算）。
• 数量: 一个 GPU 有成千上万个 ALU，它们被组织在不同的计算单元内（如 SM），以实现大规模并行计算。

3. 流多处理器（SM, Streaming Multiprocessor）

• 定义: SM 是 GPU 的核心计算单元，每个 SM 包含多个 ALU、控制逻辑、寄存器文件、共享内存和缓存。
• 功能: SM 负责调度和执行多个线程，并通过内部的 ALU 并行处理这些线程的指令。
• 资源: 每个 SM 内部包含多个执行单元（如 CUDA 核心）、特殊功能单元（如 SFU）、纹理单元、寄存器和共享内存，允许同时运行多个 warp。
• 并行计算: 一个 SM 可以同时处理多个 warp 的执行任务，每个 warp 包含 32 个线程（在 NVIDIA GPU 中）。不同 SM 之间相互独立并行工作。

4. Warp

• 定义: 一个 warp 是 GPU 中的一个执行单元，包含一组（通常为 32 个）并行执行的线程。一个 warp 中的所有线程同时执行同一条指令，但可以使用不同的数据（SIMT 模型）。
• 工作方式: GPU 中的 warp 是调度的最小单位。一个 warp 中的所有线程在同一个时钟周期内执行相同的指令（锁步执行）。
• 线程发散（Divergence）: 如果 warp 中的线程执行不同的指令路径（例如分支语句 if），那么 GPU 将需要顺序执行不同路径，导致性能下降。

关系和工作机制

1. 一个 SM 包含多个 ALU：

   • 一个 流多处理器（SM） 是一个多核架构单元，包含多个 算术逻辑单元（ALU）。这些 ALU 可以同时执行多个线程的计算任务。一个 SM 可以包含数十个甚至上百个 ALU（如 CUDA 核心）。

2. SM 执行多个 Warp：

   • 一个 SM 同时调度和执行多个 warp，每个 warp 包含 32 个线程（在 NVIDIA GPU 中）。warp 是最小的执行调度单元。
   • SM 中的所有 warp 共享同一个寄存器文件和共享内存，这种设计允许高效地切换不同的 warp，以隐藏内存延迟。

3. 每个 Warp 中有多个线程：

   • 每个 warp 包含 32 个线程，这些线程以锁步（lock-step）方式执行。也就是说，warp 中所有线程在同一个时钟周期内执行同一条指令，但每个线程处理自己的数据。

4. 线程与 ALU 的关系：

   • 每个 线程 通过一个 ALU 执行指令。一个 warp 中的 32 个线程会映射到 32 个 ALU 上，这些 ALU 同时执行 warp 的指令。

5. 线程调度与指令执行：

   • SM 会调度多个 warp 并将它们分配给内部的 ALU 来执行。每个 warp 的所有线程在同一时钟周期内执行相同的指令，但使用不同的数据，这种方式被称为 SIMT（Single Instruction, Multiple Threads）。
   • 当 warp 中的线程遇到不同的分支时（例如 if-else 条件），可能会导致线程发散（Thread Divergence），需要逐步执行不同的指令路径，降低并行效率。

总结

• 线程 是 GPU 计算的基本单位，每个线程在 ALU 上执行指令。
• ALU 是执行算术和逻辑操作的基本单元，多个 ALU 组成一个 流多处理器（SM）。
• SM 是一个多核计算单元，负责调度和执行多个 warp。
• Warp 是 GPU 中的一个调度单元，通常包含 32 个线程，这些线程在同一时钟周期内执行同一条指令。

通过将大量的线程组织在 warp 和 SM 中，并通过 SIMT 模型执行，GPU 能够在图形渲染和计算任务中实现大规模并行计算。

用自己的话总结一下就是，一个SM包含多个ALU（Core），一定数量的ALU会被组织成一个Warp，SM以Warp为基本单位调度，Warpzhong的所有ALU会同时处理同样的指令，在处理过程中，一个ALU一个时刻只会负责一个线程，但一段时间内可能会处理多个不同的线程。在 GPU 的架构中，ALU和SM是物理层面上真实存在的，而warp和线程主要是用于描述如何在这些硬件单元上执行计算任务的逻辑层面概念。

​这里再放一下参考文章：https://www.cnblogs.com/timlly/p/11471507.html
写的非常非常非常非常的好，强烈推荐阅读原文~