CUDA并行计算基础
CUDA(Compute Unified Device Architecture)并行计算基础
CUDA(Compute Unified Device Architecture)并行计算基础
(说明:所有图片均来自于网络,仅供学习... )
CUDA并行计算模式
并行计算是同时应用多个计算资源解决计算一个问题:
- 涉及多个计算资源或处理器
- 问题被分解为多个离散的部分,可以同时处理(并行)
- 每个部分可以由一系列指令完成
- 每个部分的指令在不同的处理器上执行
CUDA异构计算
- Host CPU和内存(host memory)
- Device GPU和显存(device memory)
CUDA处理流程
CUDA线程层次:
- Grid, Block, THread, blockIdx, threadIdx, gridDim, blockDim
- CUDA存储结构
CUDA支持多种语言和设备