神经网络中的矩阵维度

多层神经网络

单样本

• 神经网络第一层：
  $$Z^{[1]}=W^{[1]}\ast X+b^{[1]}$$
  各矩阵维度：
  $$\begin{gathered} Z^{[1]}:(n^{[1]},1):(3,1) \\ X:(n^{[0]},1):(2,1) \\ {W}^{[1]}:(n^{[1]},n^{[0]}):(3,2) \\ {b}^{[1]}:(n^{[1]},1):(3,1) \end{gathered}$$
• 神经网络第二层：
  $$Z^{[2]}=W^{[2]}\ast a^{[1]}+b^{[2]}$$
  各矩阵维度：
  $$\begin{gathered} Z^{[2]}:(n^{[2]},1):(5,1) \\ {a}^{[1]}:(n^{[1]},1):(3,1) \\ {W}^{[2]}:(n^{[2]},n^{[1]}):(5,3) \\ {b}^{[2]}:(n^{[2]},1):(5,1) \end{gathered}$$
• 神经网络第三层：
  $$Z^{[3]}=W^{[3]}\ast a^{[2]}+b^{[3]}$$
  各矩阵维度：
  $$\begin{gathered} Z^{[3]}:(n^{[3]},1):(4,1) \\ {a}^{[2]}:(n^{[2]},1):(5,1) \\ {W}^{[3]}:(n^{[3]},n^{[2]}):(4,5) \\ {b}^{[3]}:(n^{[3]},1):(4,1) \end{gathered}$$
• 神经网络第四层：
  $$Z^{[4]}=W^{[4]}\ast a^{[3]}+b^{[4]}$$
  各矩阵维度：
  $$\begin{gathered} Z^{[4]}:(n^{[4]},1):(2,1) \\ {a}^{[3]}:(n^{[3]},1):(4,1) \\ {W}^{[4]}:(n^{[4]},n^{[3]}):(2,4) \\ {b}^{[4]}:(n^{[4]},1):(4,1) \end{gathered}$$
• 神经网络第五层：
  $$Z^{[5]}=W^{[5]}\ast a^{[4]}+b^{[5]}$$
  各矩阵维度：
  $$\begin{gathered} Z^{[5]}:(n^{[5]},1):(1,1) \\ {a}^{[4]}:(n^{[4]},1):(2,1) \\ {W}^{[5]}:(n^{[5]},n^{[4]}):(1,2) \\ {b}^{[5]}:(n^{[5]},1):(1,1) \end{gathered}$$

以此类推，神经网络层数为L时：
$$Z^{[L]}=W^{[L]}\ast a^{[L-1]}+b^{[L]}$$
各矩阵维度：
$$\begin{gathered} Z^{[L]}:(n^{[L]},1) \\ {a}^{[L-1]}:(n^{[L-1]},1) \\ {W}^{[L]}:(n^{[L]},n^{[L-1]}) \\ {b}^{[L]}:(n^{(L)},1) \end{gathered}$$

多样本

当输入训练集时多样本时，即：
$$X=((x_{11},x_{12},x_{13}...x_{1nx}{)}^T,(x_{21},x_{22},x_{23}...x_{2nx}{)}^T...(x_{m1},x_{m2},x_{m3}...x_{mnx}{)}^T):(n_x,m)$$
此时，各层神经网络：
$$Z^{[L]}=W^{[L]}\ast A^{[L-1]}+b^{[L]}$$
各矩阵维度：
$$\begin{gathered} Z^{[L]}:(n^{[L]},m) \\ {A}^{[L-1]}:(n^{[L-1]},m) \\ {W}^{[L]}:(n^{(L)},n^{(L-1)}) \\ {b}^{[L]}:(n^{[L]},1) \end{gathered}$$