TensorFLow的GPU实现与CUDA，cuDNN的关系

TensorFLow的GPU

只采用CPU在大规模数据集中训练卷积神经网络的速度很慢，因此可以结合图处理单元（Graphic Processing Unit，GPU）进行加速。GPU具有单指令多数据流结构，非常适合用一个程序处理各种大规模并行数据的计算问题。最常用的GPU是英伟达（nvidia）生产的。编写GPU代码可在CUDA环境下进行。

CUDA

CUDA（Compute Unified Device Architecture）是一种用于GPU通用计算的并行计算平台和编程模型。它以C语言为基础，并多C语言进行了扩展，能够在显卡芯片上执行程序。

cuDNN

CUDA提供了一个深度神经网络的GPU加速库cuDNN（CUDA Deep Neural Network），完成了对卷积、池化、归一化和激活函数层等标准操作的快速实现。