书接上文
上篇地址:英伟达的GPU(1) (qq.com)
上文书,我们讲到NV GPU的SM,SM的组件
-
CUDA Core:向量运行单元 (FP32-FPU、FP64-DPU、INT32-ALU),这块最容易被混淆,CUDA Core来实现矩阵计算是用的向量化能力,直接矩阵对矩阵式用Tensor Core,这块后面会讲。另外,实际上Volta,也就是V100那个架构以后,因为FP32FPU和INT32ALU都是单独的独立出来了,所以严格说就没CUDA Core了,但是大家都这么叫也不改口了。
-
Tensor Core:Tensor也就是张量运算单元(FP8、FP16、BF16、TF32、INT8、INT4)
-
Special Function Units:特殊函数(超越函数和数学函数,反平方根、正余弦啥的)
-
Warp Schedule