原标题:MIT警告深度学习正逼近算力极限,突破瓶颈会让人类成为上帝?
摩尔定律提出的时候,人们从来没有想到过芯片的算力会有到达极限的一天,至少从来没有想到芯片算力极限会这么快到来。
MIT发出警告:算力将探底,算法需改革
近日,MIT发出警告:深度学习正在接近现有芯片的算力极限,如果不变革算法,深度学习恐难再进步。
根据麻省理工学院研究人员的一项研究,深度学习的进展「非常依赖」算力的增长。他们断言,必须发明革命性的算法才能更有效地使用深度学习方法。
研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料,以理解深度学习性能和算力之间的联系,主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:
1、给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数。
2、训练整个模型的硬件负担,用处理器数量乘以计算速度和时间来估算。
研究结果表明,除从英语到德语的机器翻译(使用的计算能力几乎没有变化)外,所有基准均具有「统计学上显著」的斜率和「强大的解释能力」。
命名实体识别和机器翻译对于硬件的需求大幅增加,而结果的改善却相对较小。更有甚者,算力增长为ImageNet上的图像分类模型贡献了43%的准确率。