GPU计算与CUDA编程

1.来自Nvidia的 CUDA 并行编程框架是 GPGPU 范式的一种特定的实现。它提供了GPU编程的简易接口，基于CUDA编程可以构建基于GPU计算的应用程序。
2.CUDA 在技术上是一种异构计算环境，也就是说它利用了同时在 CPU 和 GPU 上的协调计算。CUDA 架构由主机（host）和设备（device）组成；其中主机是指传统的 CPU，而设备则是指带有大量算术单元的处理器，通常是 GPU。基于CPU+GPU的异构计算平台可以优势互补，CPU负责处理逻辑复杂的串行程序，而GPU重点处理数据密集型的并行计算程序，从而发挥最大功效。
3.当一个kernel(核)被加载时，它会被大量 CUDA 设备的线程同时执行，其中的某个集合可以被称为一个线程块（block of threads），块可以集聚为网格（grid）。
一个 CUDA 设备只有一个全局内存空间。加载核和产生大量用于计算的设备线程的首要条件是将所需的数据从主机复制到设备内存。一旦计算完成，还必须按相反的方向将结果复制回去。
典型的CUDA程序的执行流程如下：
1. 分配host内存，并进行数据初始化；
2. 分配device内存，并从host将数据拷贝到device上；
3. 调用CUDA的核函数在device上完成指定的运算；
4. 将device上的运算结果拷贝到host上；
5. 释放device和host上分配的内存。
4.GPU存在很多CUDA核心，充分利用CUDA核心可以充分发挥GPU的并行计算能力。GPU硬件的一个核心组件是SM(Streaming Multiprocessor)，翻译为中文为流式多处理器。
SM的核心组件包括CUDA核心，共享内存，寄存器等，SM可以并发地执行数百个线程，并发能力就取决于SM所拥有的资源数。当一个kernel被执行时，它的gird中的线程块被分配到SM上，一个线程块只能在一个SM上被调度。而SM一般可以调度多个线程块。
由于SM的基本执行单元是包含32个线程的线程束，所以block大小一般要设置为32的倍数。
5.最后，在进行CUDA编程前，可以先检查一下自己的GPU的硬件配置，这样才可以有的放矢。