将浅层神经网络中各个参数的形状烂熟于胸对于理解向前转播和向后传播算法大有裨益。本文记录学习体会,避免将来需要反复推导求证。
对于一个2维特征,训练样本为m,单隐层的二分类神经网络(隐层节点数为4)而言,需要重点理解以下几个参数的形状:
X
(2,m)
Y
(1,m)
W1、dW1
(4,2)
W2、dW2
(1,4)
b1、db1
(4,2)
b2、db2
(1,1)
Z1、A1、dZ1
(4,m)
Z2、A2、dZ2
(1,m)
A对X的特征进行了升维或者降维,形状中第一个变量为特征/隐层数量,第二个变量为样本数量。
需要了解的相关资料,反向转播算法的六个公式如下: