qq_55051321的博客

在搜 “没有显卡怎么学CUDA编程” 、 “怎么配置google colab的CUDA编程环境” 、 “怎么配置阿里云DSW的CUDA编程环境” 的时候并没有太多相关文章，就顺带着写下了这个文章，如果有需要的话可以看看。

需要注意的是，这些数量限制是硬件和架构相关的，不同的GPU型号和架构可能会有不同的限制。所有线程在一个 warp 中执行的指令是同步的，即它们都执行相同的指令，无论这些线程是否满足条件。（比如一个程序含有128个线程，把每32个线程称为一个warp，一个warp是一个虚拟的并行计算的单元，warp是最基本的执行单位）不同的GPU含有的寄存器数量是未知的。块是调度和同步的基本单元。warp的切换是没有开销的，它依赖于硬件的调度器和算法的判断，可以执行的warp会被放在可执行的队列中，然后按照优先级进行执行。

CPU和GPU运行是异步的，CPU一运行完kernel函数之后就会走，不管GPU有没有算完，所以在写程序的时候要知道GPU算完没。它需要知道自己的块的ID：blockIdx.x, blockIdx.y, blockIdx.z ，说明这个函数只能在GPU中执行，只能在GPU中调用，不能像刚刚一样的调用。注意在编程时要区分CPU的程序和GPU的程序，CPU的内存和GPU的内存。CPU的内存和GPU的内存之间是相互独立的，因此需要进行通信。CPU适合控制GPU程序的逻辑结构。