深度学习—历史发展

1. 导语

从这一讲开始，我们将进入目前最火热的人工智能领域—深度学习（Deep Learning）。我们前面讲到，从上个世纪80年代开始，多层神经网络被提出，它较好地解决了机器学习中的一些实际问题，但是到了上个世纪90年代，人工神经网络的研究却突然进入了沉寂。这是因为上个世纪90年代中期，以支持向量机为代表的一系列机器学习模型的提出，对人工神经网络这样的算法造成了强烈的冲击。

2. 人工神经网络的历史

2.1 人工神经网络的劣势

和支持向量机相比，多层神经网络的劣势：

• 多层神经网络在数学上不够优美，它的优化算法只能获得局部极值，算法的性能与初始值有关。
• 多层神经网络不可解释训练神经网络获得的参数与实际任务的关联性非常模糊。
• 模型可调整的参数很多，它包括网络层数、每层神经元个数、非线性函数、学习率、优化方法、终止条件等，使得训练神经网络变成了一门艺术，而以支持向量机为代表的方法所需要调整的参数却非常少。
• 如果要训练相对复杂的网络，那么需要大量的训练样本。这与支持向量机基于小规模训练样本而产生的方法是背道而驰的。

2.2 人工神经网络三剑客

由于这四个方面的劣势，使得人工神经网络的研究进入低潮期，从上个世纪90年代开始到本世纪初的前10年，机器学习方面的重要期刊和会议上，少见神经网络的研究论文。同时，也很少有人继续坚持这个方面的研究，但是研究领域却时常出现另类的学者，下面是三位在人工神经网络这条孤独的道路上前行了20年的学者，他们分别是Geoffrey Hintton、Yann LeCun、Yoshua Bengio。

Geoffrey Hintton作为1986年神经网络后向传播算法的提出者者之一，较早地在人工神经网络领域建立了自己的学术地位，从1987年开始，Geoffrey Hintton在加拿大