这篇笔记主要是关于深层神经网络的,包含以下内容:
目录
1. 确保矩阵维度是正确的(Getting your matrix dimensions right):
2. 搭建深层神经网络块(Building blocks of deep neural network):
3. 前向和反向传播(Forward and backward propagation):
4. 参数VS超参数(Parameters VS Hyperparameters):
1. 确保矩阵维度是正确的(Getting your matrix dimensions right):
在深度神经网络中,提前确定好各种矩阵的维度是减少bug的一种重要的方式。
有上面的5层神经网络,其中每层的神经元数都已经给出,对于m个样本的第层的各矩阵的维度为:
权重矩阵:
偏置矩阵:
:
:
:
:
,可以看到每个矩阵的维度都是正确的,经过运算后得到的矩阵维度也是对应的。
2. 搭建深层神经网络块(Building blocks of deep neural network):
3. 前向和反向传播(Forward and backward propagation):
前向传播(forward propagation):
对于第层:
Input: Output:
向量化后的公式:
反向传播(backward propagation):
对于第层:
Input: Output:
向量化后的公式:
4. 参数VS超参数(Parameters VS Hyperparameters):
参数:
参数即是我们在过程中想要模型学习到的信息,。
超参数:
超参数即为控制参数的输出值的一些网络信息,也就是超参数的改变会导致最终得到的参数W[l],b[l]W[l],b[l]的改变。
举例:
学习速率:
迭代次数:
隐藏层的层数:
每一层的神经元个数:
激活函数的选择