第一门课 - 神经网络和深度学习(第一周 - 深度学习引言)
1.2 什么是神经网络
在预测房屋价格时,除了房屋的面积,其他的特征例如卧室的数量也会影响房屋的价格。邮政编码或许能作为一个特征,反映步行化程度,也可能体现出附近学校的水平有多好。
在图上每一个画的小圆圈都可以是 ReLU 的一部分,或者其它非线性的函数。
基于房屋面积和卧室数量,可以估算家庭人口;基于邮编,可以估测步行化程度或者学校的质量。这些都能帮助预测房屋的价格。
以此为例,𝑥 是所有的这四个输入,𝑦 是你尝试预测的价格,把这些单个的神经元叠加在一起,我们就有了一个稍微大一点的神经网络。
实现它之后,要做的只是输入𝑥,就能得到输出𝑦。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。
1.3 神经网络的监督学习
- 在线广告:标准神经网络
- 图像应用:CNN(卷积神经网络)
- 序列数据:RNN(循环神经网络)
- ReLU函数:修正线性单元 max(0,x)
- sigmoid函数:激活函数
通过将 Sigmod 函数转换成 ReLU 函数,便能够梯度下降
(gradient descent)算法运行得更快。
在神经网络的计算中,有前向传播
(foward propagation)和反向传播
(backward propagation)的步骤。