GPU 并行结构层次

从程序上,GPU的并行层次依次为 grid  block  wrap

每个kernel对应一个grid。wrap内的线程可以通过调度器来控制运行,一个wrap内的线程同时执行。wrap 的大小为32,所有指定block 的大小时,最好是32的大小,以免造成资源的浪费。

每个线程有自己的local memory,一个block 内的线程共享share memory。启动的block 越多,每个block 能分到内存越小,也会影响程序的执行效率,所以并不是block 启动的越多越好。同样的,线程越多,每个线程的local memory 也就越少,也会影响程序的并行性。

有内置的变量,blockIdx  threadIdx 来获取grid和 block 的 维度,其维度分别可以一二三维,每个维度的大小,会随着gpu架构的不同而不同。可以定义一个宏来获取 thread 或者是block 的全局id。GPU的代码异步执行,需要根据程序,显式指定是否同步,cudasynchronize.

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页