NN&DL4.1 Deep L-layer neural network简介

前期回顾

在之前的课程中，我们学习了单隐藏层神经网络中的：
（1） 前向传播和反向传播
（2）逻辑回归
（3）向量化
（4）了解了对权重参数进行随机初始化的重要性
如果你完成了前几周的作业，那你应该已经实现并亲眼看到了某些理念实现后的效果。迄今为止，我们已经学过实现深度神经网络需要的大部分知识 。

本周任务

本周的任务是：把这些理念组合起来，并利用它们实现你自己的深度神经网络。
学习目标：
（1）将深度网络看作连续的块一个接一个地放在一起
（2）构建并训练深L层神经网络
（3）分析矩阵和向量维度以检查神经网络实现。
（4）了解如何使用缓存将信息从前向传播传递到反向传播。
（5）了解超参数在深度学习中的作用

什么是深度神经网络

到底什么是深度神经网络呢? 我们已经见过这个逻辑回归的结构图了，也已经学习过单隐藏层的神经网络结构。
先来看一个例子，这里有一个双隐层的神经网络模型 还有一个含有5个隐藏层的神经网络模型。我们一般会说逻辑回归是非常“浅”的模型。而含有5个隐藏层的神经网络模型的层数更深。浅和深，只是程度的区别。
要记住，当我们计算神经网络的层数时，不包括输入层。我们只计算隐藏层和输出层 。所以2层神经网络仍然比较浅，但比逻辑回归要深一点。从技术上来说,逻辑回归是单层神经网络。但是过去几年,在人工智能领域、机器学习社区，认识到有一些函数只有很深的神经网络才能学习。而比较浅的网络模型无法做到这点 ，虽然对于任何特定的问题来说，可能很难事先得知你需要多深的网络。

神经网络模型的选择

一般我们会先尝试逻辑回归，然后再尝试一个、两个隐藏层。可以把隐藏层的数量作为另一个超参数。你可以尝试很多不同的值，然后通过交叉验证或者开发集进行评估。之后我们会深入讨论。

神经网络模型中的符号

这是一个四层神经网络，有三个隐藏层，隐藏层中的单元数量是5 5 3，然后有一个输出单元。
（1）我们使用大写的L来表示，神经网络中的层数，这里 L = 4，即层数为4。
（2）我们用n上标小写l来表示，第l层上的单元数。n[1]=5,n[2]=5,n[3]=3,n[4]=1。
（3）对于每一层l，我们还会使用a[l]代表第l层中的激活函数。a[l] =g[l] (z[l])
（4）我们用W[l]来表示,计算第l层的中间值z[l]时使用的权重。
（5）类似的 b[l]表示计算z[l]时用到的偏置参数。