CUDA并行程序设计 GPU编程指南 第二章：使用GPU理解并行计算

第二章：使用GPU理解并行计算
2021年8月20日星期五
本章讨论了串行计算修改成并行计算的一般设计方法，较为抽象。但提供了很多研究线索。
1、 GPU中块的数量，一般是SM数量的8_{16倍（每个SM能并发调度8}16个线程块）;
2、 块内线程的数量，小于1024（受限于SM中寄存器数量），不小于256，以覆盖Global Memory访问延迟，且等于WARP SIZE=32的整数倍。
3、 流水线并行处理（pipeline parallelism）VS 数据并行处理
4、 CUDA不考虑缓存一致性，交给程序员自行处理缓存一致性问题。
5、 SIMD（向量指令，SSE、AVX，Instruction-Level Parallelism ILP）、SISD（串行程序）、MIMD（多核CPU、多线程多进程）、MISD（少见）。 CUDA采用STMD（Single Thread Multi-Data，同一段程序，但各个线程不是指令级同步，可以执行不同的分支）。
6、 循环的并行化，需要先剔除循环之间的前后依赖关系。
7、 派生（fork）、汇集（join）模式：

8、 递归改成迭代，以规避栈的大小限制。