时隔近一年的时间，又开始继续小白探索......
目录
以后要研究的方向大概率是基于异构平台的加速计算，首先非计算机专业的女生可能对以下概念要分得清：
CPU（Central Process Unit，CPU）、GPU（Graphic Process Unit，GPU）、CUDA、FPGA.....
（1）为什么我们要搞清楚这几个东西？
因为后期我们的数据是基于这样的平台来计算的，早在2016年的时候，发生了一件震动IT界的大事。谷歌的人工智能软件阿尔法狗（AlphaGo）击败了韩国的世界围棋冠军九段选手李世石。2017年，阿尔法狗又击败了当年世界围棋排名第一的中国围棋九段选手柯洁。至此，人类在所有的棋类比赛中全部输给了计算机。
（2） 阿尔法狗是一个什么神奇的东西?
然而阿尔法狗其实是一个中央处理器（Central Process Unit，CPU）和图形处理器（Graphic Process Unit，GPU）一起工作的围棋智能机器人。阿尔法狗以神经网络、深度学习、蒙特卡洛树搜索法为核心算法。其系统由四部分组成：
-
策略网络（Policy Network），以当前局面为输入，预测下一步的走法；
-
快速走子（Fast Rollout），目标和策略网络相似，在适当牺牲质量的条件下的加速走法；
-
价值网络（Value Network），以当前局面为输入，估算胜率；
-
蒙特卡洛树搜索（Monte Carlo Tree Search），把上述三个部分整合起来，形成完整的系统。
最初的阿尔法狗有176个GPU和1202个CPU。GPU能够通过内部极多进程的并行运算，取得比CPU高一个数量级的运算速度。但是GPU为了管理多进程，它需要在微架构上进行精心设计以满足深度学习计算对于带宽和缓存的需求。那么GPU和CPU有什么不同呢？
（3）首先简单的介绍一下CPU和GPU的概念：
（3.1）什么是 CPU？
CPU 由数百万个晶体管组成，可以有多个处理内核，通常被称为计算机的大脑。它是所有现代计算系统必不可少的组成部分，因为它执行计算机和操作系统所需的命令和流程。 在确定程序运行速度方面（从网页浏览到构建电子表格），CPU 也很重要。
（3.1.1）CPU的基本结构以及工作原理
https://zhuanlan.zhihu.com/p/245119254
（3.2）什么是 GPU？
（3.3.1） 图形处理器GPU简介:
图形处理器（英语：graphics processing unit，缩写：GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。
GPU 是由许多更小、更专业的内核组成的处理器。 在多个内核之间划分并执行一项处理任务时，通过协同工作，这些内核可以提供强大的性能。
GPU使显卡减少了对CPU的依赖，并进行部分原本CPU的工作，尤其是在3D图形处理时GPU所采用的核心技术有硬件T&L（几何转换和光照处理）、立方环境材质贴图和顶点混合、纹理压缩和凹凸映射贴图、双重纹理四像素256位渲染引擎等，而硬件T&L技术可以说是GPU的标志。GPU的生产商主要有NVIDIA和ATI。
一个光栅显示系统离不开图形处理器，图形处理器是图形系统结构的重要元件，是连接计算机和显示终端的纽带。
应该说有显示系统就有图形处理器GPU(俗称显卡)，但是早期的显卡只包含简单的存储器和帧缓冲区，它们实际上只起了一个图形的存储和传递作用，一切操作都必须由CPU来控制。这对于文本和一些简单的图形来说是足够的，但是当要处理复杂场景特别是一些真实感的三维场景，单靠这种系统是无法完成任务的。所以后来发展的显卡都有图形处理的功能。它不单单存储图形，而且能完成大部分图形功能，这样就大大减轻了CPU的负担，提高了显示能力和显示速度。随着电子技术的发展，显卡技术含量越来越高，功能越来越强，许多专业的图形卡已经具有很强的3D处理能力，而且这些3D图形卡也渐渐地走向个人计算机。一些专业显卡具有的晶体管数甚至比同时代的CPU的晶体管数还多。比如2000年加拿大ATI公司推出的 RADEON显卡芯片含有3千万颗晶体管，达到每秒15亿个象素填写率。
（3.3.2） 图形处理器GPU由以下器件组成:
显示主芯片显卡的核心，俗称GPU，它的主要任务是对系统输入的视频信息进行构建和渲染。
显示缓冲存储器用来存储将要显示的图形信息以及保存图形运算的中间数据;显示缓存的大小和速度直接影响着主芯片性能的发挥。
RAMD/A转换器把二进制的数字转换成为和显示器相适应的模拟信号。
（3.2.3）GPU的主要作用以及工作原理
主要作用：GPU是显示卡的“大脑”，它决定了该显卡的档次和大部分性能，同时也是2D显示卡和3D显示卡的区别依据。2D显示芯片在处理3D图像和特效时主要依赖CPU的处理能力，称为“软加速”。3D显示芯片是将三维图像和特效处理功能集中在显示芯片内，也即所谓的“硬件加速”功能。显示芯片通常是显示卡上最大的芯片(也是引脚最多的)。现在市场上的显卡大多采用NVIDIA和 AMD-ATI两家公司的图形处理芯片。
工作原理：简单说GPU就是能够从硬件上支持T&L(Transform and Lighting，多边形转换与光源处理)的显示芯片，因为T&L是3D渲染中的一个重要部分，其作用是计算多边形的3D位置和处理动态光线效果，也可以称为“几何处理”，提供细致的3D物体和高级的光线特效;只不过大多数PC中，T&L的大部分运算是交由CPU处理的(这就也就是所谓的软件T&L)，由于CPU的任务繁多，除了T&L之外，还要做内存管理、输入响应等非3D图形处理工作，因此在实际运算的时候性能会大打折扣，常常出现显卡等待CPU数据的情况，其运算速度远跟不上今天复杂三维游戏的要求。但，新一代支持DX10或以上的显卡，在系统为windows vista或以上的环境中，可以把T&L的所有工作交给GPU完成，大大提高显卡运行的效率。也使得显卡对CPU的依赖最大化的减少。
（4）CPU 与 GPU 有什么区别？
CPU 和 GPU 具有很多共同点。它们都是重要的计算引擎。都是基于芯片的微处理器。并且，两者都处理数据。但是 CPU 和 GPU 具有不同的架构，构建的目的也不同。
CPU 适用于一系列广泛的工作负载，特别是那些对于延迟和单位内核性能要求较高的工作负载。作为强大的执行引擎，CPU 将它数量相对较少的内核集中用于处理单个任务，并快速将其完成。这使它尤其适合用于处理从串行计算到数据库运行等类型的工作。
GPU 最初是作为专门用于加速特定 3D 渲染任务的 ASIC 开发而成的。随着时间的推移，这些功能固定的引擎变得更加可编程化、更加灵活。尽管图形处理和当下视觉效果越来越真实的顶级游戏仍是 GPU 的主要功能，但同时，它也已经演化为用途更普遍的并行处理器，能够处理越来越多的应用程序。
CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。
于是CPU和GPU就呈现出非常不同的架构（示意图）：具体可参考：https://www.zhihu.com/question/19903344
图片来自nVidia CUDA文档。其中绿色的是计算单元，橙红色的是存储单元，橙黄色的是控制单元。
ALU：Arithmetic Logic Unit算术逻辑单元。https://www.eefocus.com/mcu-dsp/515096
Cache：存储单元 https://zhuanlan.zhihu.com/p/386919471
Control：控制单元
DRAM：动态随机存取存储器（Dynamic Random Access Memory）
GPU采用了数量众多的计算单元和超长的流水线，但只有非常简单的控制逻辑并省去了Cache。而CPU不仅被Cache占据了大量空间，而且还有有复杂的控制逻辑和诸多优化电路，相比之下计算能力只是GPU很小的一部分。
Latency Cores延迟核
Throughput Oriented 吞吐量核
从上图可以看出：
Cache, local memory： CPU > GPU
Threads(线程数): GPU > CPU
Registers: GPU > CPU 多寄存器可以支持非常多的Thread,thread需要用到register,thread数目大，register也必须得跟着很大才行。
SIMD Unit(单指令多数据流,以同步方式，在同一时间内执行同一条指令): GPU > CPU。
CPU 基于低延时的设计：
CPU有强大的ALU（算术运算单元）,它可以在很少的时钟周期内完成算术计算。
当今的CPU可以达到64bit 双精度。执行双精度浮点源算的加法和乘法只需要1～3个时钟周期。
CPU的时钟周期的频率是非常高的，达到1.532～3gigahertz(千兆HZ, 10的9次方)。
大的缓存也可以降低延时。保存很多的数据放在缓存里面，当需要访问的这些数据，只要在之前访问过的，如今直接在缓存里面取即可。
复杂的逻辑控制单元。当程序含有多个分支的时候，它通过提供分支预测的能力来降低延时。
数据转发。 当一些指令依赖前面的指令结果时，数据转发的逻辑控制单元决定这些指令在pipeline中的位置并且尽可能快的转发一个指令的结果给后续的指令。这些动作需要很多的对比电路单元和转发电路单元。
GPU是基于大的吞吐量设计：
GPU的特点是有很多的ALU和很少的cache. 缓存的目的不是保存后面需要访问的数据的，这点和CPU不同，而是为thread提高服务的。如果有很多线程需要访问同一个相同的数据，缓存会合并这些访问，然后再去访问dram（因为需要访问的数据保存在dram中而不是cache里面），获取数据后cache会转发这个数据给对应的线程，这个时候是数据转发的角色。但是由于需要访问dram，自然会带来延时的问题。
GPU的控制单元（左边黄色区域块）可以把多个的访问合并成少的访问。
GPU的虽然有dram延时，却有非常多的ALU和非常多的thread. 为了平衡内存延时的问题，我们可以中充分利用多的ALU的特性达到一个非常大的吞吐量的效果。尽可能多的分配多的Threads.通常来看GPU ALU会有非常重的pipeline就是因为这样。
所以与CPU擅长逻辑控制，串行的运算。和通用类型数据运算不同，GPU擅长的是大规模并发计算，这也正是密码破解等所需要的。所以GPU除了图像处理，也越来越多的参与到计算当中来。
GPU的工作大部分就是这样，计算量大，但没什么技术含量，而且要重复很多很多次。就像你有个工作需要算几亿次一百以内加减乘除一样，最好的办法就是雇上几十个小学生一起算，一人算一部分，反正这些计算也没什么技术含量，纯粹体力活而已。而CPU就像老教授，积分微分都会算，就是工资高，一个老教授资顶二十个小学生，你要是富士康你雇哪个？GPU就是这样，用很多简单的计算单元去完成大量的计算任务，纯粹的人海战术。这种策略基于一个前提，就是小学生A和小学生B的工作没有什么依赖性，是互相独立的。很多涉及到大量计算的问题基本都有这种特性，比如你说的破解密码，挖矿和很多图形学的计算。这些计算可以分解为多个相同的简单小任务，每个任务就可以分给一个小学生去做。但还有一些任务涉及到“流”的问题。比如你去相亲，双方看着顺眼才能继续发展。总不能你这边还没见面呢，那边找人把证都给领了。这种比较复杂的问题都是CPU来做的。
总而言之，CPU和GPU因为最初用来处理的任务就不同，所以设计上有不小的区别。而某些任务和GPU最初用来解决的问题比较相似，所以用GPU来算了。GPU的运算速度取决于雇了多少小学生，CPU的运算速度取决于请了多么厉害的教授。教授处理复杂任务的能力是碾压小学生的，但是对于没那么复杂的任务，还是顶不住人多。当然现在的GPU也能做一些稍微复杂的工作了，相当于升级成初中生高中生的水平。但还需要CPU来把数据喂到嘴边才能开始干活，究竟还是靠CPU来管的。
故简单的总结区别就是：
CPU在芯片设计上，绝大部分空间其实并不属于ALU(算数逻辑单元）。CPU作为通用处理器，除了满足计算要求，为了更好的响应人机交互的应用，以及任务之间的同步协调，所以芯片上需要很多空间来实现分支预测与优化(control), 保存各种状态(cache)以降低任务切换时的延时。
GPU则走了一个极端，它在芯片设计上突出计算输出最大化，几乎将所有的空间都给了ALU，所以对于AI，HPC，图形渲染这样简单粗暴的浮点矩阵运算，GPU的优势肯定就非常明显了。
什么类型的程序适合在GPU上运行？
（1）计算密集型的程序。所谓计算密集型(Compute-intensive)的程序，就是其大部分运行时间花在了寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。可以做一下对比，读内存的延迟大概是几百个时钟周期；读硬盘的速度就不说了，即便是SSD, 也实在是太慢了。
（2）易于并行的程序。GPU其实是一种SIMD(Single Instruction Multiple Data)架构， 他有成百上千个核，每一个核在同一时间最好能做同样的事情。
参考：
https://www.cnblogs.com/biglucky/p/4223565.html
（5）FPGA
FPGA 的全称为 Field-Programmable Gate Array，即现场可编程门阵列。 FPGA 是在 PAL、 GAL、 CPLD 等可编程器件的基础上进一步发展的产物， 是作为专用集成电路（ ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。 简而言之， FPGA 就是一个可以通过编程来改变内部结构的芯片。
FPGA 功能实现：需要通过编程即设计硬件描述语言，经过 EDA 工具编译、综合、布局布线成后转换为可烧录的文件，
最终加载到 FPGA 器件中去，改变 FPGA 内部的连线，最终完成所实现的功能。
FPGA 性能对比：FPGA 相比于单片机、 CPU 等集成电路芯片拥有效率更高、功耗更低的特点，但是易于开发程度远远不如单片机、 CPU； 在数字芯片设计领域， FPGA 虽然相比 ASIC 具有更短的开发周期与开发难度， 但是其存在着成本过高、性能较差并且在资源的利用率上远不及 ASIC 等问题，不能真正的替代 ASIC。
3397
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
