完整的动手指南，可在Google Colab GPU上训练你的神经网络模型

介绍

如果你是神经网络领域的初学者，那么你可能已经使用过CPU训练模型。好吧，即使你的模型有 100000 个参数也没关系，训练模型可能需要几个小时。但是，如果你的模型有 100 亿或 200 亿个参数怎么办？像 VGG16 这样常见的 CNN 模型有 1.38 亿个参数，因此使用 CPU 训练这样的模型将是一个问题，因为它会占用你很多宝贵的时间。

在本文中，我们将讨论 GPU 如何为我们解决这个问题，并拥有使用 GPU 训练简单模型的实践经验。

为什么 GPU 在某些任务中优于 CPU？

而不是我介绍它的好处，相信我这个视频会给你一个更好的想法。

来源：https://www.youtube.com/watch?v=ZrJeYFxpUyQ&t=7s

现在你可能有主意了吧？是的，GPU 的这种大规模并行计算能力极大地帮助我们提高了复杂神经网络模型的性能并减少了训练时间。GPU 包含大量内置的较小内核，有助于完成此任务。

神经网络中最基本的运算是矩阵乘法，GPU 非常擅长这个任务，它像专门研究矩阵乘法的专业数学家一样解决这些计算。GPU 相对于 CPU 的其他一些优势是：

• 它具有更大的内存带宽。

• 较小的L1 和 L2 缓存有助于更快地访问缓存内存。

为了高效利用 GPU 的多核，我们使用了 CUDA 编程模型。在 Pytorch 中，运行 CUDA 操作要容易得多。

但请切记，GPU不会在所有目的上替代CPU，因为在主程序仍在运行时，GPU会通过帮助运行给定应用程序的并行重复计算，而仅作为CPU的额外贡献者。在 CPU 上。GPU优于CPU的其他一些应用程序是：

• 渲染视频——由于高计算能力和内存带宽，它可以有效地渲染视频。

• 加密货币挖掘 ——最初使用 CPU 进行加密货币挖掘。但由于其高功耗和有限的处理能力导致结果不尽人意。目前，有可用于挖矿的专用 GPU，例如 Nvidia GeForce RTX 2080 Ti。

与其坚持理论方面，不如让我们通过在 Google Colab notebook 上使用 GPU 训练模型来动手实践。

在 google Colab 中在 GPU 上训练神经网络模型

使用google Colab环境，我们可以免费使用“NVIDIA Tesla K80”GPU。但请记住，你只能连续使用它 12 小时，之后你可能无法在特定时间内访问它，除非你购买 Colab pro。

我们将把MNIST 手写数字分类数据集作为我们的问题。我们的任务是训练一个模型，该模型可以将给定的手写数字图像正确分类为相应的标签。因此，在 GPU 上训练模型时，你必须强调的一些主要步骤是：

• 设置运行时类型。

• 定义一个在 GPU 和 CPU 之间切换的函数。

• 将数据集