岳排槐 发自 LZYY
量子位 出品 | 公众号 QbitAI
去年,谷歌大脑团队发布神经网络自动架构搜索(NAS)。这个方法理论上能够更好地、自动化地设计神经网络的架构。
尽管NAS表现出色,但却要耗费大量的计算资源。运行一次,可能需要450块GPU跑上3-4天,大约耗用32400-43200个GPU小时。
一旦投入不够,就得不到理想的结果。
显然大牛们不会坐视不理。一年后,谷歌大脑团队发布了他们最新的研究成果:ENAS,全称是:Efficient Neural Architecture Search。
谷歌大脑的团队成员发现,NAS的计算瓶颈在于训练子模型收敛时,只衡量准确率而丢掉了所有训练成的权重。
最新的研究,就是强制所有子模型共享权重,来提高NAS的效率。这个方法的复杂性在于,每个子模型的权重使用并不相同。
最终,谷歌大脑团队还是成功了。使用新方法后,仅用一块英伟达GTX 1080Ti显卡,就能在16个小时之内完成架构搜索。
与NAS相比,GPU时间耗用减少了1000倍以上。
这篇论文刚刚提交到arXiv上发表。作者包括:Hieu Pham、Melody Y. Guan、Barret Zoph、Quoc V. Le、Jeff Dean。
如果你对论文细节感兴趣,传送门在此:
https://arxiv.org/abs/1802.03268
另外,在ICLR 2018大会接收的论文中,也有一些算是类似方向的研究。如果你同样感兴趣,请收下这个来自谷歌大脑团队成员@hardmaru分享的传送门:
https://openreview.net/forum?id=rydeCEhs-
https://openreview.net/forum?id=BJQRKzbA-
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
加入社群
量子位AI社群13群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot5入群;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot5,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态