为什么深度学习要使用CUDA

GPU

相比CPU，GPU有上千个cores，在并行计算方面有巨大优势，与深度学习的计算需求一致。例如卷积，卷积可以并行计算kernal的中心点不同位置的情况。

cuDNN

如何利用GPU？

CUDA为开发者们提供利用GPU并行计算的API。
CUDNN，CUDA Deep Neural Network Library.

Example(Pytorch)

t = torch.tensor([1,2,3])
t = t.cuda()

张量 t 被放入显存。