从零实现深度学习框架——利用GPU加速(一)

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

由于后面的网路越来越深，还是使用CPU进行计算的话速度会非常慢。因此，本文就来引入GPU加速我们的运算。

CuPy

CuPy是一个用Python实现GPU加速计算的NumPy兼容库。

我们基于它来实现GPU加速，它的绝大多数方法和NumPy一样，学习成本极低。

不过要注意的是，需要安装和你CUDA版本对应的CuPy版本。

CUDA	Command
v10.2	$ pip install cupy-cuda102
v11.0	$ pip install cupy-cuda110</