GPU

一、GPU简介

1.GPU是什么：
GPU是图形处理器（Graphics Processing Unit），计算机显卡的处理器.

2.GPU产生背景：
在GPU出世之前，处理2D、3D图像都依赖于CPU，这样会使”日理万机“的CPU更加劳累不堪，再加上一些设计上的原因和面对日益复杂的3D图像，常常出现显卡等待CPU处理数据的情况，GPU应运而生。

3.GPU解决什么问题：
密集型数据处理和大型并行数据计算（通过并行提高吞吐量）。

4.都有哪些GPU：
4.1 GPU生产厂家：Intel、NVIDIA、AMD等，实际使用较多的是NVIDIA显卡
4.2 NVIDIA显卡分类：

1. GeForce:家庭和企业的娱乐应用，面向游戏用户
2. Quadro:应用于图形工作站，面向专业级用户
3. Tesla：用于高性能通用计算，面向研究人员
4. Tegra:适用于移动设备
5. lon:上网本
   独立显卡是直接焊死了GPU在显卡电路板上，上面有一个散热风扇供它单独使用。
   集成显卡是把GPU与CPU放在一起，共用缓存来工作，并且公用一个散热风扇。
   对于需要大量计算的GPU来讲，独立显卡是必然的，不然散热将严重影响性能。

二、CPU和GPU的区别

1.从图上我们可以总结出几点：
1.1.从ALU计算单元来看， GPU的数量远远多于CPU,这是GPU吞吐远大于CPU的原因；
1.2.从control控制单元来讲， GPU只是使用了很简单的控制单元，而CPU使用较为复杂的控制单元；

设计理念：
CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强， 计算能力则位于其次。
而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。
CPU擅长统领全局等复杂操作，GPU擅长对大数据进行简单重复操作。

1.3 .从缓存来看，CPU拥有较大的缓存，GPU只有很小一部分。

2 .CPU本应发展趋势 ：处理器越来越小，处理速度越来越快，处理核变多。

但是实际上，CPU的发展并不是按照这个趋势发展，遇到瓶颈原因是什么：见CPU设计理念

3.GPU和CPU的设计理念基础内容：

不妨将CPU和GPU的工作比作是 ”拔草“，假设每次工作拔一根草

CPU：像个一个成年人，允许速度比较快，每次把一根草，能很快的放到草篓中（低延时性）
GPU：像是很多很多小孩子，单个GPU计算处理速度可能不如CPU，但是当有100个孩子去拔草，
	 允许速度稍微慢一点，但是一旦拔完，就是100根草（高吞吐量）

综合比较：
Cache、local memory：CPU>GPU
线程数量：GPU > CPU
寄存器数量：GPU>CPU,多寄存器可以支持更多的线程，线程执行也是需要自己的存储空间
所以当线程数量很大的时候，寄存器也需要跟着增加。

GPU的设计理念：

实际上是一种SIMD（single instruction multiple Data）单指令数据
只要我处理单元多，我就不会遇到瓶颈
我不做一次复杂的运算，但是我会可以将一个复杂的计算分解为多次运算

ALU、Cache：有大量的ALU和很小的Cache，但是GPU的缓存不是为了提高读取速度，
而是为了多个线程访问同

Control：只进行一些简单的工作，如排序、整合、拆分等

CPU设计理念：

在我很小的CPU中，大量多而小晶体管如果工作量太大，散热成了问题

低延时导向设计体现：
ALU:超级强大的计算单元，很少的周期可以完成算术运算
Cache：大的缓存可以降低延时，因为缓存速度快啊，不用每次都去内存中读数据
Control：复杂的逻辑控制单元，当程序有多个分支时，可以提高分支预测降低延时等等

这种设计理念终究会遇到瓶颈。

三、GPU的主要硬件结构

1. 主机接口：读取程指令并分配到对于的硬件单元；

它连接了GPU卡和PCI Express，
它主要的功能是读取程序指令并分配到对应的硬件单元，
例如某块程序如果在进行内存复制，那么主机接口会将任务分配到复制引擎上。

2. 赋值引擎：完成GPU内存和CPU内存之间数据的传递；

当GPU上有复制引擎时，复制的过程是可以与核函数的计算同步进行的。
随着GPU卡的性能变得强劲，现在的瓶颈已经不在计算速度慢，
而是数据的读入，如何合理的调用复制引擎是一个值得思考的问题。

3. 流处理器簇：GPU最核心地方

包括warp调度器、寄存器、Core、共享内存等。
它的设计和个数决定了GPU的计算能力，一个SM有多个core，每个core上执行线程，
core是实现具体计算的处理器，如果core多同时能够执行的线程就多，
但是并不是说core越多计算速度一定更快，最重要的是让core全部处于工作状态，而不是空闲

参考文章：https://ee.ofweek.com/2016-02/ART-8500-2814-29064212.html