cuda编程以及GPU基本知识

CPU与GPU的基本知识

GPU：吞吐导向内核
CPU：延迟导向内核

• 延迟：一条指令从发出到发出结果的时间间隔
• 吞吐量：单位时间内处理指令的数量

CPU特点

• 内存大：多级缓存结构提高访存速度
  • 处理运算速度远高于访问存储速度 -> 空间换时间
  • 经常访问的内容放到低级缓存（L1），不常访问的内容放到高级缓存
• 控制复杂
  • 分支预测机制 （if-else/break/continue等 在硬件端的机制）
  • 流水线数据前送
• 运算单元强大
  • 整型浮点型复杂运算速度快

GPU特点

• 缓存小
  • 提高内存吞吐
• 控制简单
  • 没有分支预测
  • 没有数据转发
  • （-> 复杂指令效率不高，简单指令吞吐显著提高）
• 精简运算单元
  • 多长延时流水线以实现高吞吐量 （下图每一行绿色块）
  • 需要大量的线程来容忍延迟
    
    如图中所示，每一行的运算单元只有一个控制器，所以每一行的运算单元执行的是同一个指令，只不过是使用不同的数据。

GPU vs. CPU

• CPU：连续计算部分，