吴恩达深度学习课程笔记（3）

网络中的矩阵维数推导

 

假设输入的矩阵为X，函数设为Z = WX+b，因为X只有x1，x2两个特征，所以X为一个2*1的矩阵，如图所示L1层的Z（记为Z[1]，以下同）输出有三个，所以Z[1]为一个3*1的矩阵，故第一层的W[1]应该是一个3*2的矩阵。到了L2层，这次的输出有5个，而L1层的输出Z[1]作为L2的X进行输入，那么L2的W[2]矩阵就应该是一个5*3的矩阵。接下来的矩阵以此类推都可以进行维数确定。b的维数按照输出Z来确定。

如果反向传播那么，例如db的维数就应该与b相同。

进一步，如果有m个训练集，那么一开始输入的X就是一个[x1,x2,x3,...,xm]，X是一个2*m的矩阵，其中xm代表一个训练向量。对于L1来说还是输出3个，这次由于有m个训练集，所以L1输出的Z[1]应该是一个3*m的矩阵，所以W[1]应该是一个3*2的矩阵，此时的b是一个3*m的矩阵，以此类推。