9篇分布式机器学习系统经典论文;深度学习硬件的黄金十年|AI系统前沿动态...

本期AI系统前沿动态推荐深度学习硬件的过去、现在和未来,以及8篇分布式机器学习的经典论文。英伟达首席科学家Bill Dally探讨了深度学习硬件的四个发展方向。此外,论文介绍了如何利用COTS HPC系统加速深度学习,SSP参数服务器提升分布式机器学习效率,以及在小型计算集群上训练大型主题模型的策略等。
摘要由CSDN通过智能技术生成

72741968efa9fd202b2cfbc26f05f166.png

 

这是OneFlow社区发布的第48期AI系统前沿动态,今天开始正式在OneFlow公众号更新。《AI系统前沿动态》主要推荐AI系统、编译器、大模型、硬件、最新活动等相关内容,每周一期。如果你想了解往期内容,请查看知乎链接:https://www.zhihu.com/org/oneflow-17

1. 英伟达首席科学家:深度学习硬件的过去、现在和未来

深度学习硬件究竟如何继续提升性能?英伟达首席科学家Bill Dally无疑是回答这一问题的权威,在H100 GPU发布前,他在一次演讲中回顾了深度学习硬件的现状,在他看来,其实我们手里的牌打得差不多了,这意味着必须开始研发新的技术。

以下是他认为值得关注的四个方向:首先,研究新的数字表示,比如对数(Log number),以及比EasyQuant更加巧妙的量化方案;其次,继续深入研究稀疏性;然后,研究存储电路和通信电路;最后,改良现有的工艺技术。

链接:https://mp.weixin.qq.com/s/ofWCgv-ksJjqGH0qlbW8nw

2. 大规模分布式深度神经网络(Large Scale Distributed Deep Networks)

链接:https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf

作者:Jeffrey Dean, Greg Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Mark Mao, Marc’aurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, Quoc V. Le, Andrew Y. Ng

发表时间:2012

摘要:无监督特征学习和深度学习方面的近期研究进展显示,若能成功训练出大型模型,即可大幅提升性能。本文探讨如何利用数万CPU核心训练具有数十亿参数的深度神经网络。本文作者开发出DistBelief软件框架,该框架可利用含数千台机器的计算集群训练大型模型。

本文作者还为该框架开发出两种用于大型分布式训练的算法:(i) Downpour SGD——一种异步随机梯度下降方法,可支持大批量模型复制;(ii) Sandblaster——一种支持多种分布式批次(batch)优化程序(包括L-BFGS的分布式实现)的框架。Downpour SGD与Sandblaster L-BFGS均可扩大深度神经网络训练规模并提升训练速度。

本文作者使用上述方法成功训练出规模30倍于以往文献所述模型的深度神经网络,并在ImageNet物体识别任务中取得SOTA性能表现,该识别任务含1600万张图像,涉及21,000种物体。此外,本文作者将上述方法应用于商业语音识别服务,经实践证明,上述方法亦有助于更小规模深度神经网络的提速。尽管上述方法主要针对大型神经网络训练,但其底层算法适用于所有基于梯度的机器学习算法。

3. COTS HPC系统助力深度学习(Deep Learning with COTS HPC systems)

链接:http://proceedings.mlr.press/v28/coates13.pdf

作者:Adam Coates, Brody Huval, Tao Wang, David Wu, Bryan Catanzaro, Andrew Ng

发表时间:2013

  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值