【书籍阅读】DeepLearning----第一章-引言

表示学习

  使用机器学习来挖掘表示本身（从原始数据集学习特征表示）。
  手动为一个复杂的任务设计特征需要耗费大量的人工时间和精力，使用表示学习学习到的表示，往往比手动设计的表示表现得更好。表示学习算法的经典例子是自编码器（AutoEncoder）

  无监督学习网络有：自动编码器（AE），深度信念网络（DBN），生产对抗网络（GAN）。

  深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）。这就区别于一般的机器学习，深度学习不需要人工定义特征，因为它能自动学习特征，这也意味着不用懂得太多领域相关的知识。

  深度学习经历了三次发展浪潮：20世纪40年代到60年代深度学习的雏形初现在控制论（cybernetics）中，20世纪80年代到90年代深度学习表现为联结主义（connectionism），2006年，以深度学习之名复兴。
  联结主义的中心思想是，当网络将大量简单的计算单元连接在一起时可以实现智能行为。在这第二次发展浪潮中，至今仍非常重要的两个概念：

1. 分布式表示：系统的每个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。比如，（红、绿、蓝）（卡车、轿车、人类），这有9种类型的输入，但我们可以仅仅使用6个神经元就能表示这些输入。
2. 反向传播

深度学习能有第三次发展浪潮的因素：

1. 神经网络算法的发展（模型规模以及处理算法的更进）
2. 与日俱增的数据量
3. GPU的使用以及硬件的发展