【深度学习读书笔记】第一章 引言

在人工智能的早期，那些对人类智力来说非常困难、但对计算机来说相对简单的问题得到迅速解决，比如，那些可以通过一系列形式化的数学规则来描述的问题。人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。
让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。基于这个原因，我们称这种方法为AI 深度学习（deep learning）。

1.1 深度学习概述

• 抽象和形式化的任务对人类而言是最困难的脑力任务之一，但对计算机而言却属于最容易的。
• 人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。
• AI 系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力被称为机器学习（machine learning），如logistic regression，naive bayesian等。
• 这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示（representation）
• 用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习（representation learning）。表示学习算法的典型例子是自编码器（autoencoder）。
• 当设计特征或设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的变差因素（factors of variation）。
• 深度学习（deep learning）通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。深度学习让计算机通过较简单概念构建复杂的概念。
• 我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。学习数据的正确表示的想法是解释深度学习的一个视角。

深度学习是通向人工智能的途径之一。具体来说，它是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。

1.2 深度学习的历史趋势

1.2.1 神经网络的众多名称和命运变换

1.2.2 与日俱增的数据量

1.2.3 与日俱增的模型规模

1.2.4 与日俱增的精度、复杂度和对现实世界的冲击

       总之，深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴了我们关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。未来几年充满了进一步提高深度学习并将它带到新领域的挑战和机遇。