GPU、CUDA、cuDNN是什么

CPU与GPU
电脑的主板上有一块可拆卸的板卡，专门承担着输出显示图形的任务，这就是显卡。显卡通常配备几个小风扇，运行时会发出呜呜的噪声。GPU就是显卡中的一块芯片，是显卡的核心。 GPU能够减少显卡对CPU的依赖，分担部分CPU的工作。

与CPU相比，GPU高度并行的结构使得它比CPU更加高效。
看下面这张图，绿色部分代表算数单元；CPU里只有几个算数单元，但CPU里有成百上千个算数单元。

CPU里的控制单元和缓存单元主要负责一些复杂的控制和数据转发的功能，或者暂存一些计算完成的结果或者马上要使用的数据。GPU的控制单元和缓存单元主要负责合并和转发数据

CPU的算数单元可以看作专家，拥有非常强大的逻辑运算能力，可以进行很多复杂的计算；而GPU的算数单元没有强大的逻辑运算能力，但是数量多，虽然能够处理复杂的计算，但对海量的简单、单一的加减运算运算速度会更快。

CUDA
CUDA 是 NVIDIA 发明的一种并行计算平台和编程模型。它通过利用图形处理器 (GPU) 的处理能力，可大幅提升计算性能。CUDA就像一个工具箱，提供了许多工具去使用GPU进行大量并行运算。

cuDNN
为了避免使用者都去实现底层的CUDA编程,cuDNN产生了。cuDNN是专门用于深度神经网络的GPU加速库。cuDNN就像是一个使用CUDA工具箱的工人，使用CUDA编程去操控GPU实现神经网络的加速。