吴恩达《深度学习工程师》Part1.Week1 深度学习概论

1.2 什么是神经网络
本节从房价预测的例子讲起，如图1所示。

图1 房屋价格预测模型—单个神经元

已知几组房屋面积和价格之间的对应关系，想要构建一个根据房屋面积预测房屋价格的模型。最简单的模型是用一条直线进行拟合，由于房价不能为负数，所以在负值阶段取0值，这就是著名的”ReLU”函数。以上构建出的模型就是一个最简单的神经元（neuron）模型：给定一个输入x（房屋面积），喂给神经元后，得到输出y（房屋价格）。

在预测房价时，除了房屋面积外，还有很对因素会对其产生影响，例如卧室的数量、邮编、周边富裕程度等，这时候模型的输入变量就会有多个，需要多个神经元，如图2所示。

图2 房屋价格预测模型—多个神经元
从上往下，第一个神经元可以考虑房间的尺寸大小，第二个神经元考虑是否可以步行，第三个神经元考虑附近学校的质量，最终将这几个神经元的输出带入到一个神经元中，做出房价的预测。

在实际的神经网络中，神经元是否和某个输入连接是由这个模型自己决定的，所以实际的模型连接如图3所示。

图3 房屋价格预测模型—神经网络
这样就构建了一个用于预测房屋价格的神经网络模型。

1.3 用神经网络进行监督学习
监督学习是已知输入和输出的集合来训练模型的一种机器学习方法。

图4 监督学习应用领域
在房地产领域的房屋价格预测（使用标准神经网络）、在线广告的点击预测（使用标准神经网络）、图片分类（使用卷积神经网络）、语音识别（使用循环神经网络）、机器翻译（使用循环神经网络）及自动驾驶（更复杂的复合型神经网络）等。

标准神经网络（Standard NN）、卷积神经网络（Convolutional NN）和循环神经网络（Recurrent NN）在文献中的示意图见图5。

图5 文献中的不同类型神经网络示意图

结构化数据和非结构化数据如图6所示，左图为结构化数据，数据分类明确，结构规整。右图为非结构化数据，包括语音、图像、文本等。非结构化数据对计算机来说更难理解，但是深度神经网络的出现使得计算机的表现异常优秀。

图6 结构化数据和非结构化数据

1.4 为什么深度学习会兴起
神经网络和深度学习背后的理论已经发展了几十年了，但是为什么最近几年才突然火热起来呢？图7说明了背后的原因。

图7 规模驱动了深度学习进程
图中红线为传统的机器学习方法，如支持向量机、Logistic回归等，这些机器学习方法在数据量增大时，性能会逐渐提高，当数据规模到达一定程度时，性能表现会区域饱和，不再增加。而神经网络则会随着数据量的增加，性能不断提升，而且当神经网络的规模增大时，这种性能的增加更为明显。

近几年来，随着互联网、手机、物联网的发展，海量的数据在不断产生，这使得深度神经网络的表现异常出色。但是需要注意的是，当数据量较小时，人工设计的SVM等传统机器学习模型和深度神经网络模型的性能差异不明显，是上下浮动的。

总结起来，深度学习兴起的主要原因有三个方面：
1.数据 2.计算能力 3.算法
其中的数据是指大数据的出现，计算能力是指GPU等硬件设备的快速发展，算法是指不断涌现的新型算法在提升神经网络的训练效率，如ReLU激活函数等。