吴恩达深度学习-基础-笔记-第一章

1.1 什么是神经网络

1. 神经元
   
   这是一个单神经元网络，不管规模大小，它正是通过把这些单个神经元叠加在一起来形成。如果你把这些神经元想象成单独的乐高积木，你就通过搭积木来完成一个更大的神经网络
   

同时，这是一个ReLU激活函数。它从趋近于0开始，然后变成一条直线

2. 神经网络
   

如图所示，当我们想要预测房屋价格的时候我们可以搭建如图所示的神经网络，是神经网络给予了足够多的关于𝑥和𝑦的数据，给予了足够的训练样本有关𝑥和𝑦。神经网络非常擅长计算从𝑥到𝑦的精准映射函数。也就是说你只要尝试输入一个𝑥，即可把它映射成y

1.2 神经网络的监督学习

1.到目前为止，几乎所有的由神经网络创造出来的经济价值，本质上都离不开一种叫做监督学习的机器学习类别。在监督学习中你有一些输入𝑥，你想学习到一个函数来映射到一些输出𝑦，比如我们之前
提到的房价预测的例子，你只要输入有关房屋的一些特征，试着去输出或者估计价格𝑦。

2.（1）对于图像应用，我们经常再神经网络上使用卷积神经网络（CNN)
(2)对于序列数据，比如说音频，语言等自然的序列数据，我们常用递归神经网络（RNN)

左图是一个标准的神经网络，而右图则是卷积神经网络

递归神经网络

递归神经网络(RNN)
RNN非常适合这种一维序列，数据可能是一个时间组成部分。

3.结构化数据与非结构化数据

结构化数据
结构化数据意味着数
据的基本数据库。例如在房价预测中，你可能有一个数据库，有专门的几列数据告诉你卧室
的大小和数量，这就是结构化数据。或预测用户是否会点击广告，你可能会得到关于用户的
信息，比如年龄以及关于广告的一些信息，然后对你的预测分类标注，这就是结构化数据，
意思是每个特征，比如说房屋大小卧室数量，或者是一个用户的年龄，都有一个很好的定义。
、

非结构化数据*
是指比如音频，原始音频或者你想要识别的图像或文本中的内容。这里的特征可能是图像中的像素值或文本中的单个单词

神经网络算法对于结构化和非结构化数据都有用处

1.3为什么深度学习会兴起

如果你把一个传统机器学习算法的性能画出来，作为数据量的一个函数，你可能得到一个弯曲的线，就像图中这样，它的性能一开始在增加更多数据时会上升，但是一段变化后它的性能就会像一个高原一样。假设你的水平轴拉的很长很长，它们不知道如何处理规模巨大的数据，而过去十年的社
会里，我们遇到的很多问题只有相对较少的数据量

数字化社会的来临，现在的数据量都非常巨大。仅仅在过去的 20 年里对于很多应用，我们便收集到了大量的数据，远超过机器学习算法能够高效发挥它们优势的规模。

神经网络展现出的是，如果你训练一个小型的神经网络，那么这个性能可能会像下图黄
色曲线表示那样；如果你训练一个稍微大一点的神经网络，比如说一个中等规模的神经网络
（下图蓝色曲线），它在某些数据上面的性能也会更好一些；如果你训练一个非常大的神经
网络，它就会变成下图绿色曲线那样，并且保持变得越来越好。

因此可以注意到两点：如果你想要获得较高的性能体现，那么你有两个条件要完成，第一个是你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点，另外你需要能画到𝑥轴的这个位置，所以你需要很多的数据。因此我们经常说规模一直在推动深度学习的进步，这里的规模指的也同时是神经网络的规模，我们需要一个带有许多隐藏单元的神经网络，也有许多的参数及关联性，
就如同需要大规模的数据一样。事实上如今最可靠的方法来在神经网络上获得更好的性能，
往往就是要么训练一个更大的神经网络，要么投入更多的数据，这只能在一定程度上起作用，
因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练，但
是仅仅提升规模的的确确地让我们在深度学习的世界中摸索了很多时间。为了使这个图更加
从技术上讲更精确一点，我在𝑥轴下面已经写明的数据量，这儿加上一个标签（label）量，
通过添加这个标签量，也就是指在训练样本时，我们同时输入𝑥和标签𝑦，接下来引入一点符
号，使用小写的字母𝑚表示训练集的规模，或者说训练样本的数量，这个小写字母𝑚就横轴
结合其他一些细节到这个图像中。

作为一个具体的例子，神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU
函数，这个函数我们在之前的课程里提到过。

关于这门课