《Deep Learning》学习笔记（一）

最近开始学习花书了，也就是被称为AI圣经的《Deep Learning》这本书。学习过程中，做些笔记，提高学习效果，也希望能和大家一起探讨，互相交流。

另外这本书是开源的，GitHub网址：https://github.com/exacity/deeplearningbook-chinese

pdf百度网盘:https://pan.baidu.com/s/1OQG1VVJnQUUGJSWjQjuT9g 提取码：crw0

第一章 引言 

引言部分主要介绍了人工智能中的一些相对重要的概念、本书的各章节的主要内容以及深度学习的历史趋势。

1 人工智能的主要挑战

一个具有讽刺意义的事实是，抽象化和形式化的任务对人类而言是最困难的脑力任务之一，但对于计算机而言却是最容易的。比如，计算机早就能够打败人类最好的国际象棋选手。但是对于一个人日常生活中的识别对象和语音任务等直观问题上，计算机最近才能够达到人类平均水平，甚至有时候显得很“笨拙”。事实上，一个人的日常生活需要关于世界的巨量知识，而很多这方面的知识往往是主观的、直观的，因此很难通过形式化的方式表达清楚。所以计算机需要获得同样的知识才能表现出智能。人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。

 

2 人工智能的一些尝试

知识库（knowledge base）

一些人工智能项目力求将关于世界的知识用形式化的语言进行硬编码(hard-code)。计算机可以使用逻辑推理规则来自动地理解这些形式化语言中的声明。这就是众所周知的人工智能的知识库方法。其中最著名的项目是Cyc。但是可能因为硬编码需要人工输入一些声明，从而导致计算机不够智能。所以，利用知识库的项目最终都没有取得很大的成功。

机器学习（machine learning）

依靠硬编码的知识体系面对的困难表明，AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。这种能力被称为机器学习。引入机器学习使计算机能够解决涉及现实世界知识的问题，并能作出看似主观的决策。比如，一个被称为逻辑回归（logistic regression）的简单机器学习算法可以决定是否建议剖腹产。而同样是简单机器学习算法的朴素贝叶斯（naive Bayes）则可以区分垃圾电子邮件和合法电子邮件。

表示学习（representation learning）

很多简单的机器学习算法的性能在很大程度上依赖于给定数据的表示（representation）。

很多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。然而，对于许多任务来说，我们很难知道应该提取哪些特征。例如，假设我们想编写一个程序来检测照片中的车。我们知道，汽车有轮子，所以我们可能会想用车轮的存在与否作为特征。不幸的是，我们难以准确地根据像素值来描述车轮看上去像什么。虽然车轮具有简单的几何形状，但它的图像可能会因场景而异，如落在车轮上的阴影、太阳照亮的车轮的金属零件、汽车的挡泥板或者遮挡的车轮一部分的前景物体等等。

解决这个问题的途径之一是使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习。

学习到的表示往往比手动设计的表示表现得更好。并且它们只需最少的人工干预，就能让AI系统迅速适应新的任务。表示学习算法只需几分钟就可以为简单的任务发现一个很好的特征集，对于复杂任务则需要几小时到几个月。手动为一个复杂的任务设计特征需要耗费大量的人工时间和精力；甚至需要花费整个社群研究人员几十年的时间。

表示学习算法的典型例子是自编码器（autoencoder）。

深度学习（deep learning）

在许多现实的人工智能应用中，困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。比如，在一张包含红色汽车的图片中，其单个像素在夜间可能会非常接近黑色。汽车轮廓的形状取决于视角。大多数应用需要我们理清变差因素并忽略我们不关心的因素。显然，从原始数据中提取如此高层次、抽象的特征是非常困难的。许多诸如说话口音这样的变差因素，只能通过对数据进行复杂的、接近人类水平的理解来辨识。这几乎与获得原问题的表示一样困难，因此，乍一看，表示学习似乎并不能帮助我们。

但深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。

深度学习模型的典型例子是前馈神经网络和多层感知机（MLP）。

下图展示了深度学习系统如何通过组合较简单的概念来表示图像中人的概念：

总之，这本书的主题——深度学习是通向人工智能的途径之一。具体来说，它是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下运行的AI 系统，并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）。

3 不同AI学科之间的关系

 

4 每个学科如何工作的高层次原理