Deep Learning chapter 1引言

深度学习定位

  最早期的人工智能尝试使用硬编码方法来向计算机描述世界。计算机通过逻辑推理规则和硬编码的知识来理解世界。这个项目就是众所周知的知识库。这样程度的项目不属于当代意义上的人工智能。现在普遍认为，自行获取知识的能力是AI系统最基本的属性。
 认识到AI系统需要自学习能力之后，将机器学习的思想引入AI系统。常见的机器学习算法逻辑回归和朴素贝叶斯算法取得了成功。机器学习算法在一些简单问题中的效果好，但是在复杂场景中遇到了问题。机器学习算法的效果受限于数据的表示。简单的机器学习算法的输入不是待解决的问题所在的对象，而是人为总结的相关数据的特征。人工分析问题提取的数据特征极大程度的影响到算法的性能。在复杂问题中人工很难找到合适的表示。
  这个问题的解决方法之一是让机器学习来代替人工发掘表示本身，再把表示映射到输出。这种方法叫做表示学习。典型例子自编码器就是一种总结数据表示的算法。深度学习是表示学习的典型例子，其特点是深度的模型。

三次浪潮

 第一次浪潮：控制论
 第二次浪潮：联结主义，这个时期的深度学习受到神经科学的启发，推崇人工神经网络。
 潮水退去之后，第二次浪潮留下了遗产。第一个是分布式表示，这是一种表示数据的思想。分布式表示是相对于局部表示而言的。分布式表示的思想是：系统的每一个输入都应该由多个特征表示。局部表示的典型是one-hot编码。第二个是反向传播在训练中的使用。
 第三次浪潮：深度学习，这一次深度学习跳出了神经科学的局限，它诉诸于多层次组合这一更普遍的原理。

与日俱增的模型规模

随着计算机硬件的发展和大数据时代到来，现在可以训练的模型规模越来越大。联结主义认为规模的提升能给性能带来质的飞跃。生物的神经元之间的连接并不是特别的稠密，现在的模型中每神经元连接数已经达到了脊椎哺乳动物的水平。神经元总数却小了好几个数量级。