吴恩达深度学习课程笔记 第一周 深度学习概论

深度学习——训练神经网络

【1.2什么是神经网络】

举例：

假设有一个数据集，组成元素为6间面积不同的房屋，已知这6间房屋的面积与价格，想找到一个函数来根据房屋面积来预测房价：

根据线性回归拟合

ReLu function(rectified linear unit) 线性修正单元

例如房屋价格总不能是负的，rectified 修正表示的取的都是不小于零的值

neuron神经元：输入面积，完成运算，取不小于0的值，得出预测价格

（这是一个单个的神经元，复杂的神经元就是把这些单个的神经元想堆积木一样堆叠起来）

如下

只需输入x，神经网络通过运算预测对应的价格y。只要给足训练集（x, y) ， 神经网络模型就会精确地计算出x 到 y 的映射函数。

第一层为输入层    图中的圈圈称为“隐形单元”

【1.3 用神经网络监督学习】

1、神经网络主要应用：

SNN标准神经网络——如，房地产、在线广告

CNN卷积神经网络——图像数据

RNN循环神经网络——序列数据（如，音频、语言）

Hybrid混合神经网络，更复杂

SNN CNN RNN的表示图

1. 结构化数据、非结构化数据

结构化数据：每个特征都有清晰的定义，eg房屋大小、用户年龄

非结构化数据：计算机理解起来更难，eg音频、图像或文本的内容，特征：图像中的像素值，文本中的单词

【1.4 为什么深度学习会兴起】

 x轴是数据量（labeled data)

y轴是算法的性能

训练一个足够大的神经网络+大规模的数据=高性能

注：“m”表示训练集的规模/训练样本的数量

训练集不大时（m不大时），各种算法性能排名不确定。只有在训练集非常庞大时，神经网络稳定地领先其他算法

算法创新，eg改变激活函数