深度学习笔记-第一周

概要

吴恩达老师的深度学习一共包括五门课

第一门课程（神经网络和深度学习）：学习如何建立神经网络，包括一个深度神经网络，以及如何在数据上面训练他们。还将用一个深度神经网络进行辨认猫。四周时间。

第二门课程( 改善深层神经网络：超参数调试、正则化以及优化 )：本门课程将进行深度学习方面的实践，学习严密的构建神经网络。如何真正让他表现良好，因此需要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法。三周时间。

第三门课程（ 结构化机器学习项目 ）：学习如何结构化机器学习工程。

第四门课程（ 卷积神经网络 ）：学习卷积神经网络（CNN(s)），它被用于图像领域。

第五门课程（序列模型）：它用于自然语言处理。

什么是神经网络

房价预测的小例子：

假如有一个数据集，它包含了六栋房子的信息。所以，你知道房屋的面积是多少平方英尺，并且知道房屋价格。这时，你想要拟合一个根据房屋面积预测房价的函数。

由于价格不会是负数的。因此，我们需要把直线弯折一下，让其在零处结束。这条蓝线最终就是你的函数，根据房屋的面积就可以预测价格。

像这样的趋近于零开始，然后变成一条直线的函数，我们把它叫做ReLU（Rectified Linear Unit）激活函数，rectify（修正）可以理解成max（0，x）。

房价预测的模型可以简单用下图表示：

这是一个单神经元网络，通过多个神经元叠加起来，我们可以搭建一个更大的神经网络。

在图上每一个画的小圆圈都可以是ReLU的一部分，也就是指修正线性单元，或者其它稍微非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估测步行化程度或者学校的质量。最后你可能会这样想，这些决定人们乐意花费多少钱。

神经网络的监督学习

标准的神经网络：

卷积神经网络：

递归神经网络：

结构化与非结构化数据

深度学习和神经网络，使得计算机现在能够更好地解释非结构化数据。

监督学习： 用户将成对的输入和预期输出数据提供给算法，算法从中找到一种方法（具体方法不用深究），然后根据给定输入给出预期输出。这就是监督学习的过程。

为什么深度学习会兴起？

1. 数据规模的增长
2. 在数据规模增长的背景下，传统的机器学习方法达到一定的瓶颈，而深度学习在大量数据集上的表现优秀。
3. 计算能力的增强（GPU,CPU）

参考资料

吴恩达学习视频课程 https://mooc.study.163.com/university/deeplearning_ai#/c

黄海广博士的深度学习笔记 http://www.ai-start.com/dl2017/html/README.html