DeepLearning.AI Coursera公开课笔记（课程一第一周）DNN深度神经网络

1.什么是神经网络

图1 房价预测神经网络模型

在上图中，左边 size（房屋大小），bedrooms（卧室个数），zip code（房子的邮政编码，代表房子的地区），wealth（房子的富裕程度） 分别为参数x1，x2，x3，x4，为输入层。 中间三个圆圈是连接层 ，连接层的每个节点与每个输出层都有连接，所以被称为全连接（每个x值均会影响连接层的所有节点），三个连接层最后汇聚到一点，这个节点称为输出层。最终会输出我们需要得到房价预测结果y。这就是最基本的神经网络，把一个输入 x（此时x代表x1，x2，x3，x4） 和一个输出 y 相对应起来，就是监督学习。监督学习会自主调整连接层和输出层的节点，使给出的x更好地适应y。 

2.神经网络的监督学习

结构化数据：类似于学习用户点击习惯推送对应广告，或者上节课中的房价预测，这些数据都是结构化数据（可以用表格之类的东西列出来）。可以用DNN(全连接深度神经网络)进行监督学习。

非结构化数据：类似于无人驾驶中识别其他车辆位置、语音识别等，均为非结构化数据（不能一一列出来的数据）。分别可以用CNN（卷积神经网络）和RNN(循环神经网络)实现

3.为什么神经网络比较流行了

1.数据量的暴增。过去10年 我们社会发生的事情是 对于非常多的问题 我们从只有相对来说少量的数据 到相对大量的数据 这些数据大多都是归功于社会的信息化 非常多的人类行为 已经被电子化和信息化 我们在电脑上、网站上、手机APP 花了大量的时间 这些在电子设备上的行为创造了数据 因为手机内置的相机 还有加速计 还有各种物理网中的感应器 这些东西的普及 我们已经收集了越来越多的数据 

2.神经网络技术上的突破。数据是增加了，但是之前的神经网络在使用大量数据后预测效果并没有显著提高，好在是神经网络技术一直在高速发展，列如ReLU 替代sigmoid函数，会显著增加数据利用率和学习效率。

3.CPU和GPU的发展。如今的硬件处理能力是十几年前的几个数量级以上。