[5] CUDA线程调用与存储器架构

CUDA线程调用与存储器架构

• 前几节简单讲了如何编写CUDA程序，利用GPU的处理能力并行执行多个线程和块。
• 之前所有程序里的线程是相互独立的，没有多个线程之间的通信
• 多是实际应用程序需要中间线程之间的通信，本文将仔细讲解线程调用以及CUDA的分层存储架构，以及加速CUDA代码是使用不同存储器之间的区别。

1. 线程调用

• CUDA 关于并行执行具有分层结构。每次内核启动时可以被切分成多个并行执行的块，而每个块又可以进一步的被切分成多个线程
• GPU 中 1个块中的线程可以相互通信，即启动 1 个具有多个线程的块让里面的线程能够相互通信是一个优势
• 最大的块能有1024个线程，但是我们在执行程序时需要开启所有线程吗？答案时不一定的，可以同时启动 多个块+块中的多个线程。假设一个向量加法例子需要启动 N=50000 这么多的线程，可以这样调用内核：

//如果块数量 N 不是512的倍数，需要加上511，然后再除以512
gpu<< <(N + 511)