深度学习基础知识（发展历史）

1 深度学习的历史及发展趋势

1.1 深度学习的历史

        一般来说，目前为止已经有三次深度学习的发展浪潮：在20 世纪 40 年代到 60 年代深度学习被称为控制论 (cybernetics)，20 世纪 80 年代到 90 年代深度学习被誉为连接机制 (connectionism)，并于 2006 年开始，以深度学习之名复兴。

                                    

       连接机制是在认知科学的背景下出现的。认知科学是理解心智，并结合多个不同层次分析的跨学科方法。连接机制的中心思想是，当网络将大量简单计算单元连接在一起时可以实现智能行为。这种见解同样适用于与计算模型中隐藏单元作用类似的生物神经系统中的神经元。

      神经网络研究的第三次浪潮始于 2006 年的突破。Geoffrey Hinton表明名为深度信念网络（DBN）的神经网络可以使用一种称为贪心逐层训练的策略进行有效地训练(Hinton et al., 2006a)。

1.2 深度学习的发展

        与日俱增的数据量和模型规模

        数据量的