cudnn与cuda

面向Windows的Pytorch完整安装教程
深度学习环境搭建（GPU）CUDA安装（完全版）
Pytorch的最终目标是进行深度学习训练和推理，深度学习的本质就是训练深度卷积神经网络。
cuda可以使得显卡来完成并行计算任务，但是所有的操作还是比较底层的、复杂的。
cudnn是在cuda之上的一个专门用于深度神经网络的SDK库用来加速完成相关特定的深度学习操作。
简单来说，cuda就是用来定义显卡并行运算的一些列底层GPU操作库，cudnn则是在cuda基础上专门针对深度学习定制的高级GPU操作库。