CUDA从入门到精通（五）：线程并行

多线程我们应该都不陌生，在操作系统中，进程是资源分配的基本单元，而线程是CPU时间调度的基本单元（这里假设只有1个CPU）。

将线程的概念引申到CUDA程序设计中，我们可以认为线程就是执行CUDA程序的最小单元，前面我们建立的工程代码中，有个核函数概念不知各位童鞋还记得没有，在GPU上每个线程都会运行一次该核函数。

但GPU上的线程调度方式与CPU有很大不同。CPU上会有优先级分配，从高到低，同样优先级的可以采用时间片轮转法实现线程调度。GPU上线程没有优先级概念，所有线程机会均等，线程状态只有等待资源和执行两种状态，如果资源未就绪，那么就等待；一旦就绪，立即执行。当GPU资源很充裕时，所有线程都是并发执行的，这样加速效果很接近理论加速比；而GPU资源少于总线程个数时，有一部分线程就会等待前面执行的线程释放资源，从而变为串行化执行。

 

代码还是用上一节的吧，改动很少，再贴一遍：

[cpp]  view plain  copy

 print ?

1. #include "cuda_runtime.h"           //CUDA运行时API  
2. #include "device_launch_parameters.h"     
3. #include <stdio.h>  
4. cudaError_t addWithCuda(int *c, const int *a, const int *b, size_t size);  
5. __global__ void addKernel(int *c, const int *a, const int *b)  
6. {  
7.     int i = threadIdx.x;  
8.     c[i] = a[i] + b[i];  
9. }  
10. int main()  
11. {  
12.     const int arraySize = 5;  
13.     const int a[arraySize] = { 1, 2, 3, 4, 5 };  
14.     const int b[arraySize] = { 10, 20, 30, 40, 50 };  
15.     int c[arraySize] = { 0 };  
16.     // Add vectors in parallel.  
17.     cudaError_t cudaStatus;  
18.     int num = 0;  
19.     cudaDeviceProp prop;  
20.     cudaStatus = cudaGetDeviceCount(&num);  
21.     for(int i = 0;i<num;i++)  
22.     {  
23.         cudaGetDeviceProperties(&prop,i);  
24.     }  
25.     cudaStatus = addWithCuda(c, a, b, arraySize);  
26.     if (cudaStatus != cudaSuccess)   
27.     {  
28.         fprintf(stderr, "addWithCuda failed!");  
29.         return 1;  
30.     }  
31.     printf("{1,2,3,4,5} + {10,20,30,40,50} = {%d,%d,%d,%d,%d}\n",c[0],c[1],c[2],c[3],c[4]);  
32.     // cudaThreadExit must be called before exiting in order for profiling and  
33.     // tracing tools such as Nsight and Visual Profiler to show complete traces.  
34.     cudaStatus = cudaThreadExit();  
35.     if (cudaStatus != cudaSuccess)   
36.     {  
37.         fprintf(stderr, "cudaThreadExit failed!");  
38.         return 1;  
39.     }  
40.     return 0;  
41. }  
42. // 重点理解这个函数  
43. cudaError_t addWithCuda(int *c, const int *a, const int *b, size_t size)  
44. {  
45.     int *dev_a = 0; //GPU设备端数据指针  
46.     int *dev_b = 0;  
47.     int *dev_c = 0;  
48.     cudaError_t cudaStatus;     //状态指示  
49.   
50.     // Choose which GPU to run on, change this on a multi-GPU system.  
51.     cudaStatus = cudaSetDevice(0);  //选择运行平台  
52.     if (cudaStatus != cudaSuccess)   
53.     {  
54.         fprintf(stderr, "cudaSetDevice failed!  Do you have a CUDA-capable GPU installed?");  
55.         goto Error;  
56.     }  
57.     // 分配GPU设备端内存  
58.     cudaStatus = cudaMalloc((void**)&dev_c, size * sizeof(int));  
59.     if (cudaStatus != cudaSuccess)   
60.     {  
61.         fprintf(stderr, "cudaMalloc failed!");  
62.         goto Error;  
63.     }  
64.     cudaStatus = cudaMalloc((void**)&dev_a, size * sizeof(int));  
65.     if (cudaStatus != cudaSuccess)   
66.     {  
67.         fprintf(stderr, "cudaMalloc failed!");  
68.         goto Error;  
69.     }  
70.     cudaStatus = cudaMalloc((void**)&dev_b, size * sizeof(int));  
71.     if (cudaStatus != cudaSuccess)   
72.     {  
73.         fprintf(stderr, "cudaMalloc failed!");  
74.         goto Error;  
75.     }  
76.     // 拷贝数据到GPU  
77.     cudaStatus = cudaMemcpy(dev_a, a, size * sizeof(int), cudaMemcpyHostToDevice);  
78.     if (cudaStatus != cudaSuccess)   
79.     {  
80.         fprintf(stderr, "cudaMemcpy failed!");  
81.         goto Error;  
82.     }  
83.     cudaStatus = cudaMemcpy(dev_b, b, size * sizeof(int), cudaMemcpyHostToDevice);  
84.     if (cudaStatus != cudaSuccess)   
85.     {  
86.         fprintf(stderr, "cudaMemcpy failed!");  
87.         goto Error;  
88.     }  
89.     // 运行核函数  
90. <span style="BACKGROUND-COLOR: #ff6666"><strong>    addKernel<<<1, size>>>(dev_c, dev_a, dev_b);</strong>  
91. </span>    // cudaThreadSynchronize waits for the kernel to finish, and returns  
92.     // any errors encountered during the launch.  
93.     cudaStatus = cudaThreadSynchronize();   //同步线程  
94.     if (cudaStatus != cudaSuccess)   
95.     {  
96.         fprintf(stderr, "cudaThreadSynchronize returned error code %d after launching addKernel!\n", cudaStatus);  
97.         goto Error;  
98.     }  
99.     // Copy output vector from GPU buffer to host memory.  
100.     cudaStatus = cudaMemcpy(c, dev_c, size * sizeof(int), cudaMemcpyDeviceToHost);      //拷贝结果回主机  
101.     if (cudaStatus != cudaSuccess)   
102.     {  
103.         fprintf(stderr, "cudaMemcpy failed!");  
104.         goto Error;  
105.     }  
106. Error:  
107.     cudaFree(dev_c);    //释放GPU设备端内存  
108.     cudaFree(dev_a);  
109.     cudaFree(dev_b);      
110.     return cudaStatus;  
111. }  

红色部分即启动核函数的调用过程，这里看到调用方式和C不太一样。<<<>>>表示运行时配置符号，里面1表示只分配一个线程组（又称线程块、Block），size表示每个线程组有size个线程（Thread）。本程序中size根据前面传递参数个数应该为5，所以运行的时候，核函数在5个GPU线程单元上分别运行了一次，总共运行了5次。这5个线程是如何知道自己“身份”的？是靠threadIdx这个内置变量，它是个dim3类型变量，接受<<<>>>中第二个参数，它包含x,y,z 3维坐标，而我们传入的参数只有一维，所以只有x值是有效的。通过核函数中int i = threadIdx.x;这一句，每个线程可以获得自身的id号，从而找到自己的任务去执行。

 

下节我们介绍块并行。