DeepLearning Chapter0

深度学习的历史趋势

深度学习已不再是一个崭新的名词，追溯其历史，在20世纪40年代首次出现的是控制论，20世纪80到90年代出现的是联结主义，到2006年兴起的深度学习。起初的深度学习研究的是所谓人工神经网咯，该名词之后慢慢淡去，因为人类仅仅只是想要模仿大脑的机制建立学习系统，但受制于生物医学技术的发展，现金人类对大脑的机制还知之甚少。
现代的深度学习模型继承了过去的一些思想。如线性模型（有很多局限性，如不能学习“异或函数”）及自适应线性单元（adaptive linear element，ADALINE）、随机梯度下降等。
受雪雕实验的启发（Von Melchner et al,1980）,研究者认为，用同一机理，可以解决不同的任务。
20世纪80年代所兴起的联结主义或并行分布处理的核心思想是：当网络将大量简单的计算单元练级在一起时可以实现智能行为。这其中的一些方法到现在依然是深度学习的主流方法，如：分布式表示（distributed representation）、反向传播（back propagation）、长短期记忆（long short—term memory）。
第三次浪潮起于2006年对贪婪逐层预训练的策略。而最近的研究方向正朝着无监督学习技术与深度模型在小数据集的泛化能力开展，however，目前更多的兴趣点仍停留在传统的监督学习技术与充分利用大数据集的标注能力。