1.1 深度学习的历史和发展

深度学习并不是近年来出现的新事物。就像《现代操作系统》作者讲的一句话：计算机领域总是出现周而复始的现象。很多概念几十年前就有了，因为某种因素消沉下去，但后面可能又被拎出来。

之所以让人感觉其是全新领域，乃是因为前几年相对冷门。软件学院90年代求学的一个师兄讲：他毕业那会论文大凡扯上BP神经网络，都很好过，因为这是学术研究热点。可见，当时就已经有一波热潮了。

1. 人工神经网络

该领域最早的学习算法，旨在模拟生物学习的计算模型。结果深度学习以“人工神经网络”之名出现。这是个听起来很高大上的概念，模型被认为是受生物大脑启发而设计的系统，然而一般都没有被设计成生物功能的真实模型。

从神经科学角度出发，设计成简单线性模型：n个输入，一个输出y如何关联起来，模型期望学习到一组权重。第一波称为控制论。线性模型。神经科学是深度学习的一个灵感来源，但已经削弱了。因为人类根本没有足够的关于大脑的信息来作为指导去使用它。

媒体经常强调深度学习与大脑的相似性。一是撰稿人自己不太懂，二是这样讲社会民众好迅速理解其高大上。而且研究ANN，确实这个名字很唬人。

2. 联结主义

联结主义的中心思想：当网络将大量简单的计算单元连接在一起时，可以实现智能行为。

其中一个概念是分布式表示：系统的每一个输入都应该由多个特征表示，每一个特征都应该参与到多个可能输入的表示。

这个思想简而言之：3*3，而非 9*1。假设有一个视觉系统，可以识别红、绿、蓝的汽车、火车、卡车，一共有9种类。表示这些输入的一个方法是将九个类的组合，分别使用单独的神经元激活。需要9个不同的神经元。改善这种状况的方法就是分布式思想