【深度学习】CUDA 和 cuDNN 的发展历程和版本特性 截止 CUDA 12.x 和 cuDNN 9.x

CUDA & cuDNN

CUDA（Compute Unified Device Architecture）和 cuDNN（CUDA Deep Neural Network Library）是 NVIDIA 推出的关键软件工具，用于加速 GPU 上的并行计算和深度学习任务。它们的版本发展也推动了高性能计算和深度学习的发展。以下是 CUDA 和 cuDNN 的主要版本发布历程及其关键特性：

1. CUDA 发展历程

CUDA 是 NVIDIA 于 2006 年发布的一套并行计算平台和编程模型，允许开发者在 NVIDIA GPU 上加速应用程序计算。

• CUDA 1.0 (2007年6月)
  CUDA 的首个版本，提供了基本的并行编程模型和 API，支持 GPU 上的通用计算。此时的 CUDA 只支持简单的计算任务，如矩阵运算。

• CUDA 2.0 (2008年8月)
  增加了对双精度浮点运算的支持，以及 cudaMemcpyAsync() 功能，提升了 CPU-GPU 数据传输的性能。提供了 cuFFT 和 cuBLAS 库。

• CUDA 3.0 (2010年3月)
  引入了 Fermi 架构，支持 ECC 内存和更多的并行线程。提供 Thrust 库，使得 C++ STL 风格的并行算法变得更加容易。

• CUDA 4.0 (2011