从神经网络的历史发展热潮看深度学习的发展趋势

https://www.toutiao.com/a6634054947929342468/

 

近几年深度学习变得非常火爆，那么问题来了，深度学习还会不会长期火爆下去呢?

鉴古知今，回顾神经网络的发展史可以看到，20世纪50年代末开始神经网络第一次热潮然后在1969年图灵奖得主马文·闵斯基发表名著《感知机》后进入“冰河期”，这个时期美国和前苏联都停止了对神经网络研究的资助，绝大多数研究者改行；从80年代中期开始，神经网络掀起第二次热潮，状况与今天相似，几乎“席卷一切”，到90年代中期支持向量机和统计学习理论兴起，神经网络进入“沉寂期”，源于神经网络的NIPS会议在相当长的时间里不接收关于神经网络的文章；直到2010年代初“深度学习”兴起，神经网络又重新大热这里面大致有一个“热十年冷十五年”的交替模式这是巧合呢，还是说神经网络本身就有一个这样的宿命?对此大家可以有各自的判断和思考。

 

另一个巧合注意到的人比较少，如果我们把神经网络每次热潮期往前看5~10年，每次都会看到计算设备发展的重大事件：20世纪50年代中期现代电子计算机广泛应用；80年代初英特尔系列微处理器与内存条技术广泛应用，在没有内存条技术之前要计算“内积”操作都是很麻烦的事情，所以有了内存条技术之后很多东西变了；2000年代中GPU、CPU集群等广泛应用，有了GPU之后矩阵计算的效率大幅度提升，而这一次神经网络热起来和GPU的关系是非常大的。

从一定程度看，神经网络是相对最易利用新增计算资源的一类机器学习方法，因为神经网络最主要的就是求负梯度。其他机器学习方法要有效使用新增资源，往往需在理论和技术上跨出一大步，要进行新的设计。但这一步跨出之后，可能会由于理论上相对清楚、试错性大为减少而柳暗花明。所以在技术上，我个人觉得今后进一步发展的技术未必定是深度学习，但应该是能够有效利用强力计算资源的技术。