CUDA和GPU之间的关系

          并行计算这个东西一定会逐渐流行起来，这是用硬件对算法加速，是加速很快的方法。举个简单的例子，一般

         八核手机比单核手机执行更快，这八核用的原理其实就是并行计算。最近围棋人机大战，虽然ALPHAGO
        用到了蒙特卡 洛算法和神经网络算法，但其中也一定用到了并行计算，因为他需要很快的执行速度。其实并行
        计算确实是个很神奇的“东西”，我用程序做两个大小为1024*1024矩阵的乘法，并行计算执行速度比一般算

        法快30倍左右（在下面有运行结果截图）。

1、GPU介绍

      GPU是图形处理器（Graphics Processing Unit）的缩写，是电脑显卡的处理器。GPU和CPU相比，GPU有更多         的晶体管用于数据处理，特别适用于解决并行计算的问题。可以使程序执行速度加快。

                                            1024x1024的两个矩阵相乘执行速度比较。

                           

2、GPU产生背景

      GPU产生之前，处理2D、3D图像都是依赖于CPU，但是由于CPU任务繁多，而且还有设计上的原因，这样面对        日益复杂的3D图形图像时就会常常出现显卡等待CPU数据的情况。GPU的出现就是为了解决上述问题。

3、GPU发展历程

      GPU的发展经历了三代变化。可编程性和应用范围都逐渐提高。

                                

4、GPU解决的问题

     密集型数据处理核大型并行数据计算。

     超级计算机中也用到GPU。图中第一个参数是GPU数量，第二个参数是GPU类型构架，第三个参数是计算速度。                                                              GPU是加速科学计算最快的并行处理器！

                                       

5、GPU主流生产厂商 

      Intel：最主要的集成显卡供应商

      NVIDIA：最大的显卡供应商，有集成显卡和独立显卡

      AMD：第二大的独立显卡供应商

      

     一般台式机和笔记本使用比较多的是NVIDIA显卡。NVIDIA类型的显卡可以分为以下类型系列(构架)：

                                                

6、CUDA介绍CUDA是计算统一设备构架（Compute Unified Device Architecture）的缩写。是一种通用并行计算      平台和编程模型，CUDA使得开发者可以使用常用的编程语言C来编程，称为CUDA  C（相当于C的一张扩展，当        然还可以用其他语言Java、Fotran）。

     CUDA和GPU之间的关系十分重要，可以用如下图表示：

                                      

7、GPU硬件结构：

      主机接口：读取程序指令并分配到对应的硬件单元

      复制引擎：完成GPU和CPU之间的主句复制传递

      流处理器簇：GPU最和核心的部分，是计算的执行部分

      内存：有不同类型内存，每一种有各自的用途

      

8、ＧＰＵ工作原理