CUDA如何选取Blocks和Threads

Blocks

1. 早期的卡，最多支持65535个blocks, 后面的卡最多可以支持$2^{31}-1=2147483647$

可以理解为blocks可以随便造，主要是要把threads的大小选好

Threads

1. 一般来讲每一个block不能超过512（Compute Capability 1.x）/ 1024（2.x和之后版本）个线程

你电脑不旧的话，一般都是不超过1024

2. 每个块的线程数应该是warp size大小的整数倍，在所有当前的硬件上，warp size大小是32。

比如我的电脑：
Device : “GeForce RTX 2080 Ti”
driverVersion : 10010
runtimeVersion : 10000
CUDA Driver Version / Runtime Version 10.1 / 10.0
CUDA Capability Major/Minor version number : 7.5
Total amount of global memory : 10.73 GBytes (11523260416 bytes)
GPU Clock rate : 1545 MHz(1.54 GHz)
Memory Clock rate : 7000 Mhz
Memory Bus Width : 352-bit
L2 Cache Size: 5767168 bytes
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp Size: 32
Maximum number of threads per multiprocessor: 1024
Maximum number of thread per block: 1024
Maximum sizes of each dimension of a block: 1024 x 1024 x 64
Maximum sizes of each dimension of a grid: 2147483647 x 65535 x 65535

一般来讲都是32，你也可以那个用一下代码测试一下：

#include <stdio.h>

int main(void) {
        cudaDeviceProp deviceProp;
        if (cudaSuccess != cudaGetDeviceProperties(&deviceProp, 0)) {
                printf("Get device properties failed.\n");
                return 1;
        } else {
                printf("The warp size is %d.\n", deviceProp.warpSize);
                return 0;
        }
}

3. threads太小（32）或者太大（512）都不好，经验来讲，最好选择128 threads/256 threads 为好