宝宝攻略(2) 神经网络向量化

考虑一个三层网络(一个输入层、一个隐含层、以及一个输出层)，并且假定x是包含一个单一训练样本$x^{(i)} \in \Re^{n}$的列向量。则向量化的正向传播步骤如下：

$$\begin{aligned} z^{(2)} &= W^{(1)}x+b^{(1)} \\ a^{(2)} &= f(z^{(2)}) \\ z^{(3)} &= W^{(2)}a^{(2)}+b^{(2)} \\ \end{aligned}$$
这对于单一训练样本而言是非常有效的一种实现，但是当我们需要处理m个训练样本时，则需要把如上步骤放入一个for循环中。

这段话究竟是什么意思呢？首先它定义了一个三层的网络，这个网络长相如下。

我们每次是放一个样本$x^i$进入这个网络，且这个$x^i$是一个一维的张量，长度为n。我们表示为$x^i = (x_1^i, x_2^i,...,x_n^i)$。如果在上面这个图上呢，n就为3。所以首先第一点，一个样本$x^i$，它不是只有一个数，那叫做标量，而是一个向量，或者说是一维张量。