每一层的神经元仅接受前一层神经元的输出, 并输入到下一层神经元, 神经元间的连接不会形成环. 有种 Markov chain 的味道.
- \(L\): 层数;
- \(m^{(l)}\): 第 \(l\) 层神经元的个数;
- \(f_l\): 第 \(l\) 层 activation function;
- \(W^{(l)}\): 第 \(l-1\) 层到第 \(l\) 层 weight matrix;
- \(b^{(l)}\): 第 \(l\) 层 bias;
- \(z^{(l)}\): 第 \(l\) 层净输入;
- \(a^{(l)}\): 第 \(l\) 层输出.
\[ \begin{align*} z^{(l)} &= W^{(l)}a^{(l-1)} + b^{(l)},\\ a^{(l)} &