嘻嘻嘻吴恩达“神经网络和深度学习”笔记

深度学习概论

什么是神经网络

“深度学习”指的是训练神经网络，有时候规模很大。
“神经网络”
我们用一个房价预测的例子，假设有六间房屋的数据集，已知房屋的面积、单位是平方英尺或平方米。已知房屋价格，想要找到一个函数，根据房屋面积，预测房价的函数。如下图：

房屋面积（size）作为神经网络的输入称之为x
通过一个节点图中的小圆圈：一个独立的神经元（这个神经元所做的就是输入面积，完成线性运算，取不小于0的值，最后得到输出预测价格）
最后输出价格（price）用y表示
ReLU：一开始是0，然后就是一条直线（全称是“修正线性单元”其中“修正”指的是取不小于0值）
这个图是一个单神经元网络，规模很小的神经网络，大一点的神经网络是把这些单个神经元堆叠起来形成的。如下图

面积，还有卧室的数量，这两个特征影响家庭人数的需求
邮编作为一个特征说明了步行化程度
邮政，富裕程度体现了附近学校的质量
x是面积，卧室数量，邮编，富裕程度的输入
y是预测价格
神经网络的神奇之处只需要输入 x,就能得到输出y,不管训练集有多大，所有的中间过程，他都会自己完成。该图神经网络的工作就是预测对应的价格。中间这些圆圈叫做“隐藏单元”，每个输入都同时来自四个特征。我们只需要输入x，由神经元自己决定和处理数据。

用神经网络进行监督学习

监督式学习与非监督式学习本质区别就是是否已知训练样本的输出y。
比如我们之前看到的预测房价的例子，输入房屋的特征x，就能输出或者预测价格 y； 给网站输入广告信息，网站会考虑是否给你看这些广告，有时还需要输入一些用户信息x，神经网路在预测你是否会点击这个广告y。通过想你展示，向用户展示最有可能点开广告。
我们应该知道，根据不同的问题和应用场合，应该使用不同类型的神经网络模型。例如上面介绍的几个例子中，对于一般的监督式学习（房价预测和线上广告问题），我们只要使用标准的神经网络模型就可以了。而对于图像识别处理问题，我们则要使用卷积神经网络（Convolution Neural Network），即CNN。而对于处理类似语音这样的序列信号时，则要使用循环神经网络（Recurrent Neural Network），即RNN。还有其它的例如自动驾驶这样的复杂问题则需要更加复杂的混合神经网络模型。

CNN一般处理图像问题，RNN一般处理语音信号。

结构化数据：是数据的数据库，例如在房价预测中，你可能有一个数据库或数据列告诉你房间的大小和卧室的数量这就是结构化数据。在预测用户是否会点击广告的例子中，用户信息比如年龄还有广告信息还有要预测的标签y就是结构化数据，意味着每个特征房屋面积、用户年龄等都有清晰定义。
**非结构化数据：**比如音频、原始音频、图像、想要识别图像或文本中的内容，这里的特征可能是图像中的像素值，或者是文本中的单个单词。从历史角度看非结构化数据与结构化数据比较让计算机理解起来更难，但是人们很擅长解读非结构化数据。现在的语音识别，图像识别。

为什么深度学习会兴起

水平轴代表完成任务的数据数量；垂直轴代表机器学习算法的性能。例如垃圾邮件过滤的准确率，广告预测点击的准确率，用于无人驾驶中判断其他车辆位置的神经网络准确率。
上图共有4条曲线。红色曲线代表了传统机器学习算法的表现，比如支持你向量机或logistic回归作为数据量的一个函数。他的性能一开始增加数据会上升，但是一段时间后他的性能进入平台期。黄色曲线代表了规模较小的神经网络模型（Small NN）。它在数据量较大时候的性能优于传统的机器学习算法。蓝色曲线代表了规模中等的神经网络模型（Media NN），它在在数据量更大的时候的表现比Small NN更好。绿色曲线代表更大规模的神经网络（Large NN），即深度学习模型。从图中可以看到，在数据量很大的时候，它的表现仍然是最好的，而且基本上保持了较快上升的趋势。
如果你想达到高的性能水平：
1、需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点
2、大量的数据
规模一直推动着深度学习的进步，“规模”不仅是神经网络的规模，我们需要有很多隐藏单元，许多参数，许多连接而且还有数据规模。

神经网络基础

二分分类

将上图(猫的图片)作为输入x，输出识别此图的标签y，如果是猫则输出1，不是就输出0。
上图（颜色图片）在计算机中保存一张图片要保存三个独立矩阵，分别对应图片中的红绿蓝三个颜色通道。如果输入图片是6464像素的，就有三个6464的矩阵，分别对应图片中红、绿、蓝三种像素的亮度。（图片中简化了）要把这些像素亮度值放进一个特征向量中，就要把这些像素值都提出来放入一个特征向量x，为了把这些像素值取出放入特征向量就要定义一个特征向量x，就把每个通道一行行取在连接起来。得到一个很长的特征向量，把图片中所有红绿蓝像素强度值都列出来。x的总维度就是64643=12288。我们用nx（n）表示输入特征向量x的维度。在二分分类问题中目标是训练出一个分类器，它以图片的特征向量x作为输入，预测输出结果标签是1还是0.
（x,y）x属于nx维度，y属于｛0，1｝共有m张图片维度是（nx，m）。注意，这里矩阵X的行nxnx代表了每个样本x(i)x(i)特征个数，列m代表了样本个数。这里，Andrew解释了X的维度之所以是（nx，m）而所有训练样本的输出Y也组成了一维的行向量，写成矩阵的形式后，它的维度就是（1，m）。

logistic回归

logistic回归是一个学习算法，用在监督学习问题中，输出y标签是0或1。 已知的输入特征向量x可能是一张图，要识别这张图是不是猫，需要一个算法给 出一个预测值y帽，y帽是一个概率。
已知x是一个n_x维向量，已知logistic回归的参数是w也是一个n_x维向量，b就是一个实数。所以已知输入x和参数w和b，如何计算输出预测y帽。我们希望y帽在0到1之间。所以在logistic回归中y帽等于sigmoid函数作用到这个量上。图像如图，z表示w转置x+b。sigmoid(z)=1/(1+e^-z),如果z非常大那么sigmoid(z)就很接近1。如果z非常小，则sigmoid(z)就很接近0。
当我们对神经网络编程时我们通常会把w和参数b分开，这里b对应一个拦截器。