Deep Learning 读书笔记 第一章 深度学习的历史趋势

通过历史背景了解深度学习是最简单的方式。

迄今为止深度学习已经经历了3次发展浪潮：

时间	事件
20世纪40年代到60年代	深度学习的模型出现在控制论
20世纪80年代到90年代	深度学习表现为联结主义
直到2016年	以深度学习之名复兴

神经网络的众多名称与命运变迁

• 现代深度学习最早的前身是从神经科学的角度出发的简单线性模型，模型希望学习一组权重${\omega }_1,{\omega }_2,...,{\omega }_n$并计算他们的输出：
  $$f(\mathbf{x},\mathbf{\omega })=x_1{\omega }_1+...+x_n{\omega }_n$$
  第一次神经网络研究浪潮称为控制论。但是这个权重必须由操作人员设定好。
• 20世纪50年代，感知机称为第一个能根据每个类别的输入样本来学习权重的模型。大约在同一时期，自适应线性单元简单地返回函数$f(\mathbf{x})$本身的值来预测一个实数，并且可以学习从数据预测这些数。用于调节自适应线性单元权重的训练算法是随机梯度下降的一种，稍加改进的随机梯度下降成为当今深度学习的主要训练算法。基于感知机自适应线性单元中使用的$f(\mathbf{x},\mathbf{\omega })$的模型成为线性模型
• 线性模型有很多局限性。最著名的是他们无法学习异或（XOR）函数。

神经科学被视为深度学习研究的一个重要来源，但它已不再是该领域的主要指导。主要原因是我们根本没有足够的关于大脑的信息来作为指导去使用它。要获得对被大脑实际使用算法的深刻理解，我们需要有能力同时检测（至少是）数千相连神经元的活动。

• 神经网络的第二次浪潮很大程度伴随称为联结主义或并行分布处理潮流而出现，联结主义的中心思想是：当网络将大量简单的计算单元连接在一起时可以实现智能行为。
• 在联结主义期间形成的几个关键概念在今天的深度学习也是非常重要的。其中分布式表示的思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。分布式表示减少了神经元的个数，将原本的排列组合抽出其基本单元，如红卡车，绿鸟，绿卡车，红鸟，原本需要四个输入神经元，现在只需一个表示颜色，一个表示物体种类的输入神经元，更重要的是，神经网络不仅仅从一个特定类别的图像中学习，从红卡车中同样能学习红色，而不是只能在纯红色图片中学习。联结主义另一个重要成就是反向传播在训练具有内部并表示的深度神经网络中的成功使用以及反向传播算法的普及。

分布式表示的概念是本书的核心

• 20世纪90年代，研究人员找到了解决长序列数据的模型，长短时记忆LSTM。
• 两个因素导致了神经网络热潮的第二次衰退：当AI研究不能实现投资者野心勃勃不合理的期望时，投资者感到失望。同时，机器学习的其他领域取得进展，比如核方法、图模型。
• 神经网络研究的第三次浪潮始于2006年的突破，名为深度信念网络的神经网络可以使用一种称为“贪婪逐层预训练”的策略来有效地训练。神经网络研究的这一次浪潮普及了“深度学习“这一术语。

第三次浪潮仍在继续，已开始着眼于新的无监督学习技术和深度学习模型在小数据集的泛化能力，但目前兴趣点仍是比较传统的监督学习算法和深度模型充分利用大量标注数据集的能力。