CUDA之GPU计算的起源

科学发现和业务分析推动了对更多计算资源的永不满足的需求。许多应用程序——天气预报、计算流体动力学模拟，以及最近的机器学习和深度学习——需要比当前可用的计算能力高一个数量级，更复杂的算法需要更多的计算能力来运行。

计算行业依靠各种方式来提供所需的性能，例如增加晶体管密度、指令级并行、Dennard scaling等

正如摩尔定律所预测的那样，晶体管密度的增加推动了计算需求，并使芯片晶体管密度每 18 个月翻一番。
指令级并行等技术也有助于提高性能，但从 2001 年左右开始，回报开始下降。
直到 2005 年voltage scaling结束时，Dennard scaling还提供了与摩尔定律相结合的好处。
2005 年左右，历史性的计算规模开始下降，行业需要替代方案来满足计算需求。很明显，未来的性能取决于并行性。

其他关键因素是电力和通信。研究表明，电力主要用于通信，因此更多的通信意味着更多的电力并限制了可以放入机器的计算量。这意味着未来的计算应该是节能的，并且局部性是首选。

GPGPU时代

在 90 年代和 2000 年代，图形硬件旨在满足特定需求，尤其是图形行业的工作负载。但是图形工作负载需要增加计算能力。因此，与晶体管倍增所能提供的性能（~1.8 倍/年