一、深层网络中的前向和反向传播
1、前向传播
2、反向传播
3、搭建深层神经网络块
神经网络的一步训练(一个梯度下降循环),包含了从 a[0](即 x)经过一系列正向传播计算得到 y^ (即 a[l])。然后再计算 da[l],开始实现反向传播,用链式法则得到所有的导数项,W 和 b 也会在每一层被更新。
在代码实现时,可以将正向传播过程中计算出来的 z 值缓存下来,待到反向传播计算时使用。
补充一张从 Hinton、LeCun 和 Bengio 写的深度学习综述中摘下来的图,有助于理解整个过程:
二、矩阵的维度
对于 Z、a,向量化之前有:
而在向量化之后,则有:
在计算反向传播时,dZ、dA 的维度和 Z、A 是一样的。
三、使用深层表示的原因
对于人脸识别,神经网络的第一层从原始图片中提取人脸的轮廓和边缘,每个神经元学习到不同边缘的信息;网络的第二层将第一层学得的边缘信息组合起来,形成人脸的一些局部的特征,例如眼睛、嘴巴等;后面的几层逐步将上一层的特征组合起来,形成人脸的模样。随着神经网络层数的增加,特征也从原来的边缘逐步扩展为人脸的整体,由整体到局部,由简单到复杂。层数越多,那么模型学习的效果也就越精确。
同样的,对于语音识别,第一层神经网络可以学习到语言发音的一些音调,后面更深层次的网络可以检测到基本的音素,再到单词信息,逐渐加深可以学到短语、句子。
通过例子可以看到,随着神经网络的深度加深,模型能学习到更加复杂的问题,功能也更加强大。
四、参数和超参数
参数即是我们在过程中想要模型学习到的信息(模型自己能计算出来的),例如 W[l],b[l]。而超参数(hyper parameters)即为控制参数的输出值的一些网络信息(需要人经验判断)。超参数的改变会导致最终得到的参数 W[l],b[l] 的改变。
典型的超参数有:
- 学习速率:α
- 迭代次数:N
- 隐藏层的层数:L
- 每一层的神经元个数:n[1],n[2],…
- 激活函数 g(z) 的选择
当开发新应用时,预先很难准确知道超参数的最优值应该是什么。因此,通常需要尝试很多不同的值。应用深度学习领域是一个很大程度基于经验的过程。
转自:http://kyonhuang.top/Andrew-Ng-Deep-Learning-notes/#/Neural_Networks_and_Deep_Learning/深层神经网络