CUDA编程学习笔记 之 CUDA流

CUDA程序的典型模式：
①输入数据从CPU主机端传输到设备端
②在设备端执行核函数处理数据
③处理结果传回主机端

GPU的核心数是有限的，因此同一时间能够并行运行的线程数是有限的，但是由于硬件特性，CUDA中的内存复制操作(Host to Device，Device to Host，Device to Device) 与 函数运行计算(核函数计算，主机端的计算)是相互独立的，因此可以通过流操控它们并行运算

CUDA流 表示一个GPU操作队列，其中的操作将按照指定的顺序执行
流对CUDA的加速思想就是： 将 设备执行核函数 与 设备与主机之间的数据传输 并行运行
当然，数据传输操作传输的数据是核函数下一次执行时所需的数据（处理结果传输同理）

首先，需要将数据划分为多个小块，分批进行 ①传输到设备（H2D）、②核函数计算(kernel)、③传输回主机(D2H) 这三个操作。
如图所示，将要处理的数据划分为四份，使用四个流进行加速。（假设数据传输与核函数执行时间相同），在中间的几段时间①②③三个操作是在同时运行的，图中可以看出使用多流的加速效果。

（图中有点小错误，最后一个流执行的最后一个操作应该是D2H（device to host），写错了）

有点类似于嵌入式中的“取指、译码、执行、写回”的架构👇

同理，当数据传输与核函数执行时间不同时也差不多（虚线表示对齐线）

如有错误，还请大佬指正