吴恩达Deeplearning.ai 知识点梳理（course 1，week 1）

背景

  深度学习在过去的几年里，已经极大的改变了一些传统互联网业务，比方说搜索（searching）、广告推荐（advertising）等。不仅如此，深度学习还增加了许多新的业务，例如读取X光片（reading X-ray image），精准农业（precision agriculture）以及自动驾驶（self driving car）等等。

  如今，我们已经能够非常清晰的看到AI会给整个社会带来重大的变化，而深度学习则是AI技术中重要的一支，它在近年来发展非常迅速。AI带来的变化，不亚于百年前电力的发现与应用给人类带来的变化。所以我们将AI称为新时代的电力。

  下面的图片，除非特殊指定，均来自于deeplearning.ai课程视频的截图或者课件的截图。课程和课件截至本文发表时，均可以在coursera上免费获取到。

深度学习和神经网络

概念

• 深度学习其实就是指训练神经网络（通常是非常大型的神经网络）。
• 而神经网络是一种非常强大的算法，这种算法启发自人类大脑的工作方式。

两个神经网络的例子

• 例 1
    这个例子是一个房地产价格预测的例子。比方说我们这里有6套房产的“面积-价格”的数据：

  
  
    图中红色的x是6套房子的数据点。x轴代表房子大小，y轴表示房子的价格。我们可以用线性回归对这6个数据点做回归分析，得到回归曲线。同时，由于不可能有房地产的价格是负值，所以我们将回归曲线的取值为负的地方设置成0。
    图中这个曲线称作ReLU曲线，其全称为Rectified Linear Unit。
    那么对于这个例子，我们就可以建立如下图所示的的一个神经网络：
  
  
    它的输入是Size，输出是Price。而中间的计算单元——neuron，则实现了ReLU函数的计算。如此，这个单神经的神经网络就实现了本例中房地产价格的预测这个功能。

• 例 2
    本例展示一个多神经元的神经网络。在例1中，通常房产价格不会只由面积决定，我们假设由多种因素决定，包括面积、卧室的数量、所在地区（用邮政编码指示）以及丰富度（wealth）。那么我们就可以用下面的神经网络进行预测：

  
  
    其中，输入的面积、卧室数量等成为输入层（Input Layer），计算单元（神经元）则称为隐含层。

用神经网络进行监督学习

概念

• 监督学习就是指我们有输入数据，同时我们也有对应的输出数据，我们认为他们有一定的输入输出关系，然后我们用一定的算法对这个输入输出关系进行近似学习。
• 监督学习有两种，一种是回归（regression），一种是分类（classification）。回归就是我们把输入的一系列数据映射到一个连续函数上，然后给定一个新的输入，用这个连续函数拿到输出进行预测。而分类则是将数据映射到一个离散函数上，然后给定一个新的输入，得到输出，然后得知这个输入属于那一类。

例子

  如下表所示

• 房地产预测是属于回归，因为输出是一个连续的价格曲线，而广告推荐则属于分类，因为输出是点击/未点击。这两类用标准的神经网络就可以了。
• 图像中的物体识别（Photo Tagging）则需要用卷积神经网络（CNN）。
• 语音识别，机器翻译则需要用循环神经网络（RNN）。
• 对于自动驾驶，则需要混合架构的神经网络。

下图中给出了几种神经网络架构的图片描述：

结构化数据和非结构化数据

概念

• 结构化数据就是指有明确的物理意义的数据，例如价格、年龄等。
• 非结构化的数据就是指没有明确物理意义的数据，例如像素、原始音频和文本等。

例子

如下表所示：

为何最近一段时间深度学习火起来

深度学习火起来，主要是由于以下几点：

• 社会活动日趋数字化而产生越来越多的数据
• 越来越快的计算速度
• 新的神经网络算法的开发

大规模数据的作用

如下图所示：

横轴是数据的数量，纵轴是人工智能（回归、分类）的算法性能。红色曲线是传统的方法，例如支持向量机（SVM）或者逻辑回归（Logistic Regression）。数据量很大的时候，他们的性能随着数据量的增加，性能增加很小。而大规模的神经网络则在同样的条件下，性能会增加。所以，在规模这一块，要点就是：

• 有大规模的、标好标签的数据
• 有能训练这些大规模数据的能力

计算力提升的作用

如下图所示，训练神经网络，其实是一个不断迭代的过程：

也就是说，有了想法，付诸于代码，然后进行实际的实验。再根据实验的结果，改进想法，再付诸于代码，再实验看结果……如此迭代之后，得到一个合适的结果。那么在这种情况下，计算力的提升就很有必要，因为训练神经网络本身是一个非常耗时的操作，那么 计算力提升就可以大大的增加迭代的速度，提升开发的效率。

练习题精选

1. 当一个非常有经验的深度学习工程师拿到一个新的深度学习问题时，ta从以前的项目中获得的经验可以让他一上来就能够得到很好的结果，而不需要若干轮迭代，是或者非？

2. 为什么RNN适用于“英语翻译成法语”这个问题（多选题）
   A. 因为它可以用来做监督学习
   B. 因为它严格说来比CNN强大很多
   C. 因为当输入输出是序列时，它比较适用
   D. 因为RNN代表了idea->code->experiment->idea->code …这样一个递归过程。

答案
1. 否。事实上，找到问题模型的特点是解决问题的关键。经验是有帮助的，但是必须经过数轮迭代才能得到好的效果。
2. AC