神经网络的严冬与复兴之路

整理自网络资源，转载请注明原文出处。
http://36kr.com/p/5044091.html
http://36kr.com/p/5044540.html
http://36kr.com/p/5044265.html
http://36kr.com/p/5044543.html

神经网络的严冬

九十年代末，神经网络遇到的困境就是一个字——“慢”。

除了计算速度的因素外，还有一个根本问题就是反向传播时所谓的“梯度消失问题”（vanishing gradient problem）。

简单的说， 就是cost function从输出层反向传播时，每经过一层，梯度衰减速度极快， 学习速度变得极慢，神经网络很容易停滞于局部最优解而无法自拔。

又由于当时SVM在图像和语音方面取得的成功，使得很多研究者转战SVM（就像现在研究者开始往深度学习这边靠拢）。到本世纪初，神经网络在学术界的情况更加糟糕，以至于任何论文送到学术期刊时，研究者都不敢用 “神经网络” 几个字，免得被粗暴拒绝。

但是在这样的科研环境中，有个执著的小老头，多伦多大学的Geoffrey Hinton，还在神经网络领域苦苦坚守。一个五十多岁的小老