CUDA编程01- 并行编程介绍

一：概述

        自计算机诞生以来，许多高端应用程序对执行速度和资源的需求超出了计算机所能提供的能力范围。早期的应用依赖于处理器速度、存储速度、存储容量的提升来增强应用程序的能力，例如，天气预报的及时性、工程结构分析的准确性、计算机生成图形的逼真度、每秒处理的机票预订数量，以及每秒处理的资金转账数量。最近，深度学习等新应用对执行速度和资源的要求甚至超过了最好的计算能力。这些应用需求在过去的五十年里推动了计算设备能力的快速发展，并将在可预见的未来继续如此。

       基于单个中央处理器（CPU）的微处理器似乎是按顺序执行指令的，如英特尔和 AMD 的 x86 处理器，在时钟频率和硬件资源快速增长的支持下，推动了 20 世纪 80 年代和 90 年代计算机应用性能的快速提高和成本的降低。在二十年的发展过程中，这些单 CPU 微处理器为台式机带来了 GFLOPS（即每秒十亿浮点运算），为数据中心带来了 TFLOPS（即每秒万亿浮点运算）。对性能提升的不懈追求使应用软件能够提供更多功能、更好的用户界面，并产生更有用的结果。反过来，用户一旦习惯了这些改进，就会要求处理器及硬件资源有更多的改进，从而为计算机行业创造了一个积极的（良性）循环。

      然而，自 2003 年以来，由于处理器能耗和散热问题，这种增长趋势已经放缓。这些问题限制了时钟频率的提高，以及单个CPU在每个时钟周期内指令执行能力的提升。从那时起，几乎所有的微处理器供应商都转到多核模式，即在每个芯片中使用多个物理 CPU（称为处理器内核）来提高处理能力。在这种模式下，传统 CPU 可被视为单核 CPU。要从多个处理器内核中获益，用户必须有多个指令序列，无论是来