深度学习领域有什么瓶颈?

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/a493823882/article/details/81231371

转自知乎:深度学习领域有哪些瓶颈? - PENG Bo的回答 - 知乎 https://www.zhihu.com/question/40577663/answer/413331053

作者:PENG Bo
链接:https://www.zhihu.com/question/40577663/answer/413331053
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

个人认为,当前深度学习的瓶颈,可能在于 scaling。是的,你没有听错。

我们已经有海量的数据,海量的算力,但我们却难以训练大型的深度网络模型(GB 到 TB 级别的模型),因为 BP 难以大规模并行化。数据并行不够,用模型并行后加速比就会大打折扣。即使在加入诸多改进后,训练过程对带宽的要求仍然太高

这就是为什么 nVidia 的 DGX-2 只有 16 块 V100,但就是要卖到 250 万。因为虽然用少得多的钱就可以凑出相同的总算力,但很难搭出能高效运用如此多张显卡的机器。

而且 DGX-2 内部的 GPU 也没有完全互联:

又例如 AlphaGo Zero 的训练,实际用于训练的只是很少的 TPU。即使有几千几万张 TPU,也并没有办法将他们高效地用于训练网络。

如果什么时候深度学习可以无脑堆机器就能不断提高训练速度(就像挖矿可以堆矿机),从而可以用超大规模的多任务网络,学会 PB EB 级别的各类数据,那么所能实现的效果很可能会是令人惊讶的。

那么我们看现在的带宽:

List of interface bit rates​en.wikipedia.org

 

2011年出了PCI-E 3.0 x16,是 15.75 GB/s,现在消费级电脑还是这水平,4.0还是没出来,不过可能是因为大家没动力(游戏对带宽要求没那么高)。

NVLink 2.0是 150 GB/s,对于大型并行化还是完全不够的。

大家可能会说,带宽会慢慢提上来的。

很好,那么,这就来到了最奇怪的问题,我想这个问题值得思考:

AI芯片花了这么大力气还是带宽受限,那么人脑为何没有受限于带宽?

我的想法是:

  • 人脑的并行化做得太好了,因此神经元之间只需要kB级的带宽。值得AI芯片和算法研究者学习。
  • 人脑的学习方法比BP粗糙得多,所以才能这样大规模并行化。
  • 人脑的学习方法是去中心化的,个人认为,更接近 energy-based 的方法。
  • 人脑的其它特点,用现在的迁移学习+多任务学习+持续学习已经可以模仿。
  • 人脑还会用语言辅助思考。如果没有语言,人脑也很难快速学会复杂的事情

 

remark:最后对人脑学习的总结值得学习!

展开阅读全文

没有更多推荐了,返回首页