考虑一个三层网络(一个输入层、一个隐含层、以及一个输出层),并且假定x是包含一个单一训练样本 x(i)∈Rn 的列向量。则向量化的正向传播步骤如下:
z(2)a(2)z(3)=W(1)x+b(1)=f(z(2))=W(2)a(2)+b(2)
这对于单一训练样本而言是非常有效的一种实现,但是当我们需要处理m个训练样本时,则需要把如上步骤放入一个for循环中。
这段话究竟是什么意思呢?首先它定义了一个三层的网络,这个网络长相如下。
我们每次是放一个样本 xi 进入这个网络,且这个 xi 是一个一维的张量,长度为n。我们表示为 xi=(xi1,xi2,...,xin) 。如果在上面这个图上呢,n就为3。所以首先第一点,一个样本 xi ,它不是只有一个数,那叫做标量,而是一个向量,或者说是一维张量。