alexnet训练多久收敛_24分钟完成ImageNet训练，刷新世界纪录

原标题：24分钟完成ImageNet训练，刷新世界纪录

作者｜尤洋

编辑｜Natalie

深度学习训练通常需要数天或更久，而UC Berkeley的尤洋博士等人发表了一篇论文: ImageNet Training in 24 Minutes

论文链接：

https://arxiv.org/pdf/1709.05011.pdf

尤洋博士对他们采用的最新算法进行了说明，该算法将AlexNet训练缩短到24分钟，这样在研发时能大大提升效率，博士本人亲自给我们解读了这篇论文。

图 1，Google Brain 科学家 Jonathan Hseu 阐述加速神经网络训练的重要意义

近年来，深度学习的一个瓶颈主要体现在计算上。比如，在一个英伟达的 M40 GPU 上用 ResNet50 去训练 ImageNet 需要 14 天；如果用一个串行程序在单核 CPU 上训练可能需要几十年才能完成。这个问题大大限制了科技的发展。为了设计新的模型，研究人员往往需要不断调整模型，再去做实验，每次实验结果都要等一天是无法接受的。所以，在半小时之内完成大型神经网络的训练对科技的进步意义重大，交互式研究能大大提高研发效率。

利用参数服务器实现的异构方法无法保证在大型系统之上稳定起效。而正如 Goyal 等人于 2017 年得出的结论，数据并行同步方法对于超大规模深度神经网络(简称 DNN)训练而言表现得更为稳定。其基本思路非常简单——在 SGD 中使用更大的 batch size，确保每一次迭代皆可被轻松分布至多处理器处。这里我们考虑以下理想条件。ResNet-50 在处理一张 225x225 像素图片时