吴恩达深度学习课程笔记（初步认识神经网络）

吴恩达深度学习课程笔记1

课程主要内容

1.神经网络与深度学习介绍
2.Improving Deep Neural Networks:超参数调整，正则化，优化方法
3.结构化机器学习工程：比如如何分割训练集，比较集，或改变验证集，测试集。
4.卷积神经网络CNN
5.如何进行自然语言处理（时间序列模型）RNN,LSTM

什么是神经网络？

举例：房价预测的例子

问题是：我们现在已知六所房子（我可爱的朋友们，小红，小明，小兰，小白，小黑，小绿每人都有一套房，我还知道他们的价格和面积）的房屋面积以及房价，目标是随便给定房屋面积预测房屋的价格。(想为了追上朋友们的脚步，我也要买一个120平的大House得需要多少钱呢？）
那我们最自然的一种想法是利用一个线性函数去拟合它

但是因为价格不能为负数（不能人家给我房子还倒贴钱吧，哈哈哈哈），所以在某个点他会是0.

也就是上面这个样子的。这个蓝色的粗线，就是我们要找的函数，我就可以预测我的120平米的大house多少钱了。

这时候输入120（size:x),经过这个圆圈圈（独立神经元，其实就是我们找到的线性函数计算）,就可以得到预测的房价（price:y)了。（我要为了我的大house努力学习）

在深度学习中，上述图片的这样的一个函数我们叫做线性修正单元(rectifited linear unit) RELU.

学习了单个的神经元，我们就可以通过单个的神经元去搭建更大的神经元了。

可能以后我结婚生孩子了，一个120平的大house已经不适合我了，我要考虑更多的因素去买房子了，比如
1.房屋的大小
2.有几间卧室
3.邮政编码
4.繁荣程度
房屋的大小和卧室的数量与我家有几口人有关系，邮政编码决定了我住在哪个区，我的步行化程度，邮政编码和繁荣程度又和学校的质量有关系(学区房呀），最后才能得出房价的预估。

中间的⭕成为是隐藏单元，来自于前面的特征，神经网络的工作就是我输入前面的x(上面列出的1,2,3,4)的部分，然后他经过一通计算，给我得出我想要的房子的价格y.具体中间的隐藏单元是啥，我们是不知道的。

用神经网络能够干些什么

用神经网络进行监督学习
可以应用到以下几个方面（翻译的ppt)：
1.实际问题的预测
2.在线广告的推广
3.图像处理
4.语音识别
5.机器翻译
6.自动驾驶
其中1，2用的是标准的神经网络，3用的的卷积神经网络CNN,4,5用的是RNN,6用的是混合神经网络。

网络模型的图示

监督学习的数据分为两类，一类是结构化的数据，就是比如我们数据库中存储的数据，具有明显的特征。另一类是非结构化数据，语音，图片，文本（英语单词）

为什么深度学习火了？

红色：传统机器学习表现
黄色：小型神经网络表现
蓝色：中型神经网络表现
绿色：大型神经网络表现

在数据量小的时候，传统的机器学习算法的效果与深度学习的算法的效果相比，很难分出好坏。在现在这个时代，获取海量数据变得容易了（那么多app…额。。。不说了）。而传统的机器学习算法，很难处理海量的数据，但是大型神经网络可以，所以他就火了。
深度学习的发展和数据的爆炸式增长，硬件的发展（GPU,CPU)是密不可分的。

也就是规模促使深度学习进步。
数据促使计算能力变强（CPU,GPU)
算法进步导致计算能力变强，计算速度变快

说一个最简单的算法的创新
将激活函数sigmoid函数变为RELU函数
因为sigma函数两侧倒数接近于0，在用梯度下降法时参数更新的很慢，在使用RELU函数后，计算效率有所提升。

这是我今天通过看视频学习到的东西，如果有什么地方理解的不准确，欢迎大家批评指正。希望自己能坚持下去，学完这个课程。加油！