DeepLearning.AI Coursera公开课笔记（课程一第四周）DNN深度神经网络

1.深度为L层的神经网络概述

图1 深度神经网络的结构图 

 在前面课程讲述了只有一个隐藏层的神经网络，这周主要讲的是多个隐藏层的神经网络。在多层神经网络中，其中l表识layers，l=0代表第一层。例如n[l]代表第l层的节点数。n[0]=3代表输入层有3个节点。而第l层的w用w[l]标识，第l层的b用b[l]表示，以此类推。

2.深度神经网络的前向传播

 图2 深度神经网络的前向传播公式

 深度神经网络的前向传播与单层神经网络类似。这里同样吧W、A、Z向量化，使其能够针对m个样本进行向量化运算。每个W和A与Z和b都有下标l，代表是对应的l层的值。

3.深度神经网络参数的维度

 图3 深度神经网络的参数维度

第l层A,z,b的维度为（n[l],m）

第l层W的维度为（n[l],n[l-1]）

第l层X的维度为（n[l-1],m）

第l层dZ与dA的维度（n[l],m）

第l层dw的维度（n[l],1）

第l层db的维度（n[l],1）

4.深度神经网络为什么具有价值

1）深度神经网络浅层其实在识别事物的特征，如人的脸部特征，声音的音调。而深度神经网络的深层就是把浅层的特征组合起来成为复杂的事物并进行检测。

2）如果将深度神经网络平铺为一层，那么它相当于n层的指数级大小，所以其能适应的特征就非常多。

5.神经网络的基本框架

图4 神经网络的基本框架 

如图所示为神经网络的基本框架，其中在前向传播时的Z[l]值将会被保存，因为其将在计算反向传播时被利用。先由前向传播一步步计算得到a[L]也就是yhat的值，再由da[L]一步步返回计算各级的da[l],dw[l],db[l],这些值将在梯度下降迭代中被使用。

6.前向传播与反向传播

1）l层的前向传播

 图5 l层的前向传播

2）l层反向传播

图6 l层反向传播

 l层的正向传播和反向传播与第三周的单隐藏层向量化正向方向传播公式一致，只不过将在求w和z时把X替换为a[l-1]

7.超参数与普通参数的区别

 

图7 普通参数与超参数 

1）普通参数，类似于w，b，这些值都是学习过程改变的

2）超参数：是用户可定义的值，例如学习速率、迭代次数、隐藏层层数、隐藏层单元数、每层激活函数的选择。

3）后来又有一些新的超参数例如：momentum term（动量项优化方法），mini batch size（每次最小训练样本个数）、various forms of regularization（各种形式的正则化）、等等。

4）调试学习速率的方法，可以通过控制变量，改变学习速率，观察损失函数J的变化曲线，如果某一学习速率J的值下降得快并且能达到最小J值，说明该学习速率最好。

5）超参数的最优值不会一直不变，可能由着硬件的改变或者其他运行的东西的改变，其最优值也会发生改变。这需要花费大量时间去寻找最适合你问题的超参数，这也许是神经网络令人不满意的地方，也是其仍需进步的地方。

8.编程作业

1）输出层dA计算方法，求dA(L)：

dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))

2）调用l层参数的方法，例如调用l层的dw：

 𝑑𝑊[𝑙]=𝑔𝑟𝑎𝑑𝑠["𝑑𝑊"+𝑠𝑡𝑟(𝑙)]