网络中的矩阵维数推导
假设输入的矩阵为X,函数设为Z = WX+b,因为X只有x1,x2两个特征,所以X为一个2*1的矩阵,如图所示L1层的Z(记为Z[1],以下同)输出有三个,所以Z[1]为一个3*1的矩阵,故第一层的W[1]应该是一个3*2的矩阵。到了L2层,这次的输出有5个,而L1层的输出Z[1]作为L2的X进行输入,那么L2的W[2]矩阵就应该是一个5*3的矩阵。接下来的矩阵以此类推都可以进行维数确定。b的维数按照输出Z来确定。
如果反向传播那么,例如db的维数就应该与b相同。
进一步,如果有m个训练集,那么一开始输入的X就是一个[x1,x2,x3,...,xm],X是一个2*m的矩阵,其中xm代表一个训练向量。对于L1来说还是输出3个,这次由于有m个训练集,所以L1输出的Z[1]应该是一个3*m的矩阵,所以W[1]应该是一个3*2的矩阵,此时的b是一个3*m的矩阵,以此类推。