深度学习并不是近年来出现的新事物。就像《现代操作系统》作者讲的一句话:计算机领域总是出现周而复始的现象。很多概念几十年前就有了,因为某种因素消沉下去,但后面可能又被拎出来。
之所以让人感觉其是全新领域,乃是因为前几年相对冷门。软件学院90年代求学的一个师兄讲:他毕业那会论文大凡扯上BP神经网络,都很好过,因为这是学术研究热点。可见,当时就已经有一波热潮了。
1. 人工神经网络
该领域最早的学习算法,旨在模拟生物学习的计算模型。结果深度学习以“人工神经网络”之名出现。这是个听起来很高大上的概念,模型被认为是受生物大脑启发而设计的系统,然而一般都没有被设计成生物功能的真实模型。
从神经科学角度出发,设计成简单线性模型:n个输入,一个输出y如何关联起来,模型期望学习到一组权重。第一波称为控制论。线性模型。神经科学是深度学习的一个灵感来源,但已经削弱了。因为人类根本没有足够的关于大脑的信息来作为指导去使用它。
媒体经常强调深度学习与大脑的相似性。一是撰稿人自己不太懂,二是这样讲社会民众好迅速理解其高大上。而且研究ANN,确实这个名字很唬人。
2. 联结主义
联结主义的中心思想:当网络将大量简单的计算单元连接在一起时,可以实现智能行为。
其中一个概念是分布式表示:系统的每一个输入都应该由多个特征表示,每一个特征都应该参与到多个可能输入的表示。
这个思想简而言之:3*3,而非 9*1。假设有一个视觉系统,可以识别红、绿、蓝的汽车、火车、卡车,一共有9种类。表示这些输入的一个方法是将九个类的组合,分别使用单独的神经元激活。需要9个不同的神经元。改善这种状况的方法就是分布式思想