主机与设备
cuda编程模型将CPU作为主机(host),GPU作为协处理器(co-processor)或者设备(Device)一个系统中可以有一个主机和若干个设备。
其中CPU负责逻辑性强的事务处理和串行计算,GPU专注于执行高度线程化的并行处理任务。
CPU和GPU拥有相互独立的存储器地址:主机端的内存和设备端的显存。
操作显存需要使用CUDA API中的存储器管理函数,包括开辟显存、初始化显存和释放缓存,以及在主机端和设备端之间进行数据传输等。
程序中的并行部分由GPU来计算,这部分运行在GPU中的并行计算函数称为kernel(内核函数)。一系列主机的串行处理和设备端的kernel函数并行步骤共同组成完成的程序。
C程序串行执行
串行代码
并行的kernel,kernel由两个层次的并行组成Grid中的block间并行和block中的thread间并行
Kernel<<<>>>() { Grid0{ Block(0,0) Block(1,0) Block(2,0) Block(3,0)
Block(0,1) Block(1,1) Block(2,1) Block(3,1)} 其中每个Block由thread矩阵组成
串行代码
并行的kernel,kernel由两层并行组成Kernel<<<>>>() { Grid1{ Block(0,0) Block(1,0) Block(2,0) Block(3,0)
Block(0,1) Block(1,1) Block(2,1) Block(3,1)} 其中每个Block由thread矩阵组成
其中串行代码主要完成kernel启动前进行数据准备和设备初始化的工作,以及kernel之间进行一些串行计算。两层并行模型是CUDA最总要的创新之一。
Kernel函数的定义与调用
主机端代码通过调用GPU设备端的kernel内核函数实现并行计算,kernel内核函数必须通过__global__函数类型限定符定义,并且只能在主机端代码中调用。调用时,必须声明内核函数的执行参数。例如:
//Kernel定义
__global__ void VecAdd(float* A,float* B,float* C)
{
}
int main()
{
//Kernel 调用
VecAdd<<<1,N>>>(A,B,C);
}