【架构分析】GPU执行GEMM矩阵运算实例演示

背景介绍

Cutlass是 NVIDIA 提供的一套用于高效实现矩阵乘法和卷积操作的 C++ 库。它以 CUDA 为基础，提供了高度优化的数学运算，尤其适用于GPU上的高性能并行计算。本文以GEMM矩阵运算作为实例，展示Cutlass在GPU上执行GEMM运算的过程

实例演示 

GPU执行GEMM矩阵算子过程演示

说明

• Cutalss把两个Global Memory中的大矩阵乘法分解为多个（ThreadBlock Tile尺寸的）小矩阵乘法，每个小矩阵由各自的ThreadBlock并行执行，依赖的输入数据从Global Memory load 到Share Memory中；GPU硬件中派发ThreadBlock给不同的SM计算单元并行计算；

• ThreadBlock （Tile尺寸的）矩阵乘法再分解为多个更小（的Warp Tile尺寸的）矩阵乘法，每个更小的矩阵由各自的Warp并行计算，依赖的输入数据从Share Memory load到Register File中

• Warp （Tile尺寸的）矩阵乘法最终分解为由每个Thread计算一小块矩阵乘法，实例的视频中每个Thread负责计算出4个4x4大小区域的矩阵乘法结果，1个Warp中32个Thread并行计算；

• 整个视频展示了GEMM算子从大矩阵乘法逐步分解为ThreadBlock Tile -> Warp Tile -> Thread Tile 小矩阵乘法的过程，体现了Cutalss做GEMM运算采用的分而治之并行策略

• GPU硬件上以ThreadBlock粒度和Warp粒度的并行执行过程，展示了GPU并行执行的架构特点/优点