cuda底1课：cuda基础

 

主机与设备

cuda编程模型将CPU作为主机（host），GPU作为协处理器（co-processor）或者设备（Device）一个系统中可以有一个主机和若干个设备。

其中CPU负责逻辑性强的事务处理和串行计算，GPU专注于执行高度线程化的并行处理任务。

CPU和GPU拥有相互独立的存储器地址：主机端的内存和设备端的显存。

操作显存需要使用CUDA API中的存储器管理函数，包括开辟显存、初始化显存和释放缓存，以及在主机端和设备端之间进行数据传输等。

       程序中的并行部分由GPU来计算，这部分运行在GPU中的并行计算函数称为kernel（内核函数）。一系列主机的串行处理和设备端的kernel函数并行步骤共同组成完成的程序。

 

     C程序串行执行

串行代码

    并行的kernel，kernel由两个层次的并行组成Grid中的block间并行和block中的thread间并行

    Kernel<<<>>>() { Grid0{ Block(0,0) Block(1,0) Block(2,0) Block(3,0)

                                               Block(0,1)   Block(1,1) Block(2,1) Block(3,1)}   其中每个Block由thread矩阵组成

 串行代码

     并行的kernel，kernel由两层并行组成

    Kernel<<<>>>() { Grid1{ Block(0,0) Block(1,0) Block(2,0) Block(3,0)

                                               Block(0,1)   Block(1,1) Block(2,1) Block(3,1)}   其中每个Block由thread矩阵组成

其中串行代码主要完成kernel启动前进行数据准备和设备初始化的工作，以及kernel之间进行一些串行计算。两层并行模型是CUDA最总要的创新之一。

Kernel函数的定义与调用

主机端代码通过调用GPU设备端的kernel内核函数实现并行计算，kernel内核函数必须通过__global__函数类型限定符定义，并且只能在主机端代码中调用。调用时，必须声明内核函数的执行参数。例如：

//Kernel定义

__global__ void VecAdd(float* A,float* B,float* C)

{

}

int main()

{

      //Kernel 调用

      VecAdd<<<1,N>>>(A,B,C);

}