这个方法太强了，带你使用 PyTorch Lightning 将深度学习管道速度提高 10 倍

文末有迪迦给大家准备的人工智能学习资料礼包（内含：两大Pytorch、TensorFlow实战框架视频、图像识别、OpenCV、计算机视觉、深度学习与神经网络等等等视频、代码、PPT以及深度学习书籍）

前言

本文介绍了如何使用 PyTorch Lightning 构建高效且快速的深度学习管道，主要包括有为什么优化深度学习管道很重要、使用 PyTorch Lightning 加快实验周期的六种方法、以及实验总结。

当 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在 2012 年设计 AlexNet 时，训练 6000 万参数模型需要五到六天的时间。八年后的 2020 年，微软 DeepSpeed 团队在不到 44 分钟的时间内成功训练了一个 3.5 亿参数的 Large-Bert 模型！

九年后，我们现在看到，AlexNet 只是机器学习革命的冰山一角。今天，我们知道许多尚未开发的潜在训练技术和深度学习模型架构都在我们的掌握之中！

不幸的是，由于数据的规模和新的深度学习模型架构的规模，其中许多进步对于普通研究人员来说就像多汁苹果对于没有梯子的水果采摘者一样难以获得。有这么多卓有成效的模型架构挂在深度学习潜力之树上，我们应该问自己，“我们如何才能达到它们？”

​

答案很简单：要达到这些富有成效的架构，我们需要梯子！Alex Krizhevsky 构建了他自己的梯子来逐块到达 AlexNet，但是今天，像 PyTorch Lightning 这样的解决方案为您提供了自己的现成梯子——甚至是自动扶梯！

本文介绍了如何使用 PyTorch Lightning 构建高效且快速的深度学习管道，还解释了这些优化如何通过显着加快研发实验周期来快速尝试各种研究想法！

• 为什么优化深度学习管道很重要

• 使用 PyTorch Lightning 加快实验周期的六种方法

• 结果总结

为什么优化深度学习管道很重要

无论是在学术界还是