【CUDA 1】CUDA编程基础概念知识

【CUDA 1】CUDA编程基础概念知识

相关博客
【CUDA 0】CUDA编程环境安装及配置

---

---

前言

CUDA是NVIDIA公司提出了一种通用的并行计算平台和编程模型，有人说CUDA是一门语言，也有人认为其是API。
但是其准确说应该是一套模型架构，其API也有着driver API 和 runtime API，而基于CUDA也有着Arrayfire这样的库，使用起来也更为简单。

---

一、并行运算

相对于串行计算的程序从上至下依次运行而言，并行计算可以一次同时执行多指令算法，在时间和空间上并发处理，可大幅度提高计算速度。因此在编程中，也多有通过thread进行多线程编程。而再好的CPU线程速都是有限的，不像GPU的核速和线程数更是丰富，像现在国内常用的显卡，例如4090，A800这些，只要划分合理、使用得当，不会遇到像CPU利用thread多线程编程，不够用这种情况。因此对CUDA编程有一定的掌握很有必要。

二、概念基础

1.简化架构

无论显卡费米、多普勒架构，还是现在Ada架构这些N卡历代架构的变化，显卡的内部结构就是网格(grid)–>块(block)–>线程(thread)

每个显卡有着些grid，每个grid下又有着多个block,每个block又包含着若干线程，可以采用deviceQuery来查询具体的数值。
因此CUDA编程架构中将CPU作为主机(host)，GPU作为协处理器或者设备(device)，两者相互协同工作，CPU负责逻辑性强的串行计算，GPU负责高度线程化的并行运算，运行在GPU的程序便是Kernel(核函数)，这并不是一个完整的程序，只是程序中可以使用并行计算的部分。一个完整的程序由若干内核函数以及CPU上的部分组成。
因此不难想到，CUDA运行逻辑就是
1.在GPU上分配存储
2.将CPU的数据拷贝到GPU内存
3.调用GPU内核函数
4.将GPU数据拷回CPU内存
5.释放GPU内存空间

2.CUDA Runtime

CUDA API包括Thrust 、Runtime、Driver三个部分。
Driver API是一种低级API，它相对于来说较难编程，它主要在GPU设备使用上提供了较多的控制。而Runtime API是一个高级API，它在Driver API的上层实现。每个Runtime API都被分解为更多传给了Driver API的基本运算。
Runtime虽然需要依赖nvida自己的编辑器编译，但是Runtime类似一种更高级的封装，开发使用的更方便。
两种API在性能上并没有明显的差异，在GPU上去考虑内核如何使用内存，以及如何组织线程，对性能会有更显著的影响。而Driver API和Runtime API是相互排斥的，不能混合函数编程，必须只能使用其中之一，因此没有特殊需求的时候，使用Runtime API即可。

参考

What Is CUDA?
显卡，显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么？
Difference between the driver and runtime APIs