本文介绍了英伟达GPU的CUDA架构，包括CUDA Core、Tensor Core、Special Function Units等组件，以及CUDA的编程模型，如Kernel、Grid、Block和Thread的三级线程管理。CUDA作为并行计算平台，提供了与GPU交互的接口，如CUDA Core用于向量化计算，Tensor Core支持张量运算。文章还提及了CUDA与深度学习库cuDNN的关系，以及CUDA编程的基本概念。
书接上文
上篇地址：英伟达的GPU(1) (qq.com)
上文书，我们讲到NV GPU的SM，SM的组件
-
CUDA Core：向量运行单元 （FP32-FPU、FP64-DPU、INT32-ALU），这块最容易被混淆，CUDA Core来实现矩阵计算是用的向量化能力，直接矩阵对矩阵式用Tensor Core，这块后面会讲。另外，实际上Volta，也就是V100那个架构以后，因为FP32FPU和INT32ALU都是单独的独立出来了，所以严格说就没CUDA Core了，但是大家都这么叫也不改口了。
-
Tensor Core：Tensor也就是张量运算单元（FP8、FP16、BF16、TF32、INT8、INT4）
-
Special Function Units：特殊函数（超越函数和数学函数,反平方根、正余弦啥的）
-
Warp Schedule
最低0.47元/天 解锁文章
3450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
