CUDA 学习（一）、超级计算机介绍

一、概述

       超级计算式我们在现代处理器中看到的许多技术的发展动力。超级计算机和桌面计算正向着异构计算发展，人们试图将中央处理器（CPU）和图形处理器（GPU）技术混合在一起来实现更高的性能。

二、冯. 诺依曼计算机架构

        在冯. 诺依曼计算机架构中，处理器从存储器中取出指令、解码、然后执行指令。内存速度和时钟速度的比例是限制CUP和GPU 吞吐量的一个重要因素。下图是CPU缓存组成结构，工作原理：当需要从内存中取数据或指令是，处理器首先查询缓存。如果数据或指令在缓存中，则高速缓存直接将其交给处理器。如果数据不在一级缓存（L1）中，则处理器向二级或三级（L2,L3）缓存发出读取请求。如果缓存中没有此数据，则需要从主存（内存）中读取。一级缓存的工作速度通常能达到或接近处理器的时钟速度。因此，假设写入和读取都能在缓存中完成，则循环的执行就可能接近处理器全速。然而，这是有一定的成本的；一级缓存的大小，通常只有16K或32KB大小。二级缓存就要慢一些，但空间会大一些，通常约为256K。三级缓存则要大得多，通常几兆字节大小，但是比二级缓存要慢的多。