CUDA学习笔记一：为什么需要并行计算?

万事开头难，如有问题请多包涵并指正。

CPU回顾

执行指令，处理数据的期间，完成基本的逻辑和算术指令

内存借口，外部设备接口

包含大量的晶体管（上亿）

CPU存在于生活的方方面面，比如，手机，家用电器等都会用到CPU。

对于一个编译好的程序，优化的目标无外乎两个

CPI（每条指令的时钟数）与时钟周期，这两个指标相互影响并不独立。

摩尔定律：芯片的集成密度每两年翻翻，成本下降一半。

但是由于物理上的限制，摩尔定律已经停滞不前，这也就是CPU主频为什么很难突破的原因。为了解决一些复杂的计算问题不得不寻求其他的方式。

 

用于访存的晶体管占大部分，这与我们常规意义上讲的计算机有所不同，cpu不是计算机是一个吞吐机。

CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强，计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

下图是处理器内部结构图：

DRAM即动态随机存取存储器，是常见的系统内存。

Cache存储器：电脑中作高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器。

算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。