这是OneFlow社区发布的第48期AI系统前沿动态,今天开始正式在OneFlow公众号更新。《AI系统前沿动态》主要推荐AI系统、编译器、大模型、硬件、最新活动等相关内容,每周一期。如果你想了解往期内容,请查看知乎链接:https://www.zhihu.com/org/oneflow-17
深度学习硬件究竟如何继续提升性能?英伟达首席科学家Bill Dally无疑是回答这一问题的权威,在H100 GPU发布前,他在一次演讲中回顾了深度学习硬件的现状,在他看来,其实我们手里的牌打得差不多了,这意味着必须开始研发新的技术。
以下是他认为值得关注的四个方向:首先,研究新的数字表示,比如对数(Log number),以及比EasyQuant更加巧妙的量化方案;其次,继续深入研究稀疏性;然后,研究存储电路和通信电路;最后,改良现有的工艺技术。
链接:https://mp.weixin.qq.com/s/ofWCgv-ksJjqGH0qlbW8nw
2. 大规模分布式深度神经网络(Large Scale Distributed Deep Networks)
链接:https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf
作者:Jeffrey Dean, Greg Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Mark Mao, Marc’aurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, Quoc V. Le, Andrew Y. Ng
发表时间:2012
摘要:无监督特征学习和深度学习方面的近期研究进展显示,若能成功训练出大型模型,即可大幅提升性能。本文探讨如何利用数万CPU核心训练具有数十亿参数的深度神经网络。本文作者开发出DistBelief软件框架,该框架可利用含数千台机器的计算集群训练大型模型。
本文作者还为该框架开发出两种用于大型分布式训练的算法:(i) Downpour SGD——一种异步随机梯度下降方法,可支持大批量模型复制;(ii) Sandblaster——一种支持多种分布式批次(batch)优化程序(包括L-BFGS的分布式实现)的框架。Downpour SGD与Sandblaster L-BFGS均可扩大深度神经网络训练规模并提升训练速度。
本文作者使用上述方法成功训练出规模30倍于以往文献所述模型的深度神经网络,并在ImageNet物体识别任务中取得SOTA性能表现,该识别任务含1600万张图像,涉及21,000种物体。此外,本文作者将上述方法应用于商业语音识别服务,经实践证明,上述方法亦有助于更小规模深度神经网络的提速。尽管上述方法主要针对大型神经网络训练,但其底层算法适用于所有基于梯度的机器学习算法。
3. COTS HPC系统助力深度学习(Deep Learning with COTS HPC systems)
链接:http://proceedings.mlr.press/v28/coates13.pdf
作者:Adam Coates, Brody Huval, Tao Wang, David Wu, Bryan Catanzaro, Andrew Ng
发表时间:2013