小白学习深度学习之——计算机硬件

CPU

提升cpu利用率

在计算a+b之前，需要准备数据
·主内存->L3->L2->L1->寄存器
··L1访问延时：0.5ns
··L2访问延时：7ns
··主内存访问延时：100ns
·提升空间和时间的内存本地性
··时间：重用数据使得保持它们再缓存里
··空间：按序读写数据使得可以预读取

GPU

提高GPU利用率

·并行
··使用数千个线程
·内存本地性
··缓存更小，架构更加简单
·少用控制语句
··支持有限
··同步开销很大

GPU/CPU带宽

不要频繁在CPU和GPU 之间传输数据：带宽限制，同步开销

CPU/GPU高性能计算编程

·CPU：C++或者任何高性能语言
··编译器成熟
·GPU
··Nvidia上用CUDA
··编译器和驱动成熟
·其他用OpenCL
··质量取决于硬件厂商

DSP : 数字信号处理

为数字信号处理算法设计：点积。卷积。FFT
低功耗、高性能
比移动GPU 快5x，功耗更低

可编程阵列（FPGA)

有大量可以编程逻辑单元和可配置连接
可以配置成计算复杂函数
编程语言：VHDL,Verilog

AI ASIC

深度学习的热门领域
大公司都在造自己的芯片
Google TPU是标志性芯片
·能够媲美NVIDIA GPU 性能
·在Google大量部署
·核心是systolic array