CUDA(Compute Unified Device Architecture):计算统一设备架构。
简单理解:CUDA就是一个基于GPU(单指Nvidia公司)的通用并行计算平台。
三个关键:GPU,通用计算和并行!
GPU(Graphics Processing Unit):图形处理器。
通用计算:主要是与以前的GPU只做渲染流水线相对应。
并行:同一时刻多个指令同时运行,在GPU上处理器的称谓换成了个多处理器,每个多处理器上有8个名叫CUDA core的处理单元。
并发:指复用,同一个时刻只有一个指令在处理器上执行。
Why并行程序?
摩尔定律:集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍,当价格不变时。
核心思想:硬件会越来越越快,可是随着单核CPU的时钟频率不断增加,也落入了收益递减规律里面了,其中一个主要的性能瓶颈是存储器延迟。
故有新的摩尔定律:No longer get faster, just wider(未来的计算机不会更快,而是更“宽”)。
并行处理:并行体系结构、并行软件和并行算法!
详解:CUDA基本概念