GPU 相比CPU,GPU有上千个cores,在并行计算方面有巨大优势,与深度学习的计算需求一致。例如卷积,卷积可以并行计算kernal的中心点不同位置的情况。 cuDNN 如何利用GPU? CUDA为开发者们提供利用GPU并行计算的API。 CUDNN,CUDA Deep Neural Network Library. Example(Pytorch) t = torch.tensor([1,2,3]) t = t.cuda() 张量 t 被放入显存。