神经网络中的正向和反向传播问题

正向传播

正向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。如图所示。假设我们只输入一个$\mathbf{x}\in {\mathbb{R}}^d$的样本，且先不考虑偏差项，这里的d=4

那么中间变量
$$\mathbf{z}={\mathbf{W}}^{(1)}x$$
其中${\mathbf{W}}^{(1)}\in {\mathbb{R}}^{h\times d}$，是隐层的权重参数。再将中间变量$\mathbf{z}\in {\mathbb{R}}^h$输入按元素运算激活函数后，得到向量长度为$h$的隐层变量
$$\mathbf{h}=\varphi (z)$$
隐层变量$\mathbf{h}$也是一个中间变量。输出层的参数假设只有${\mathbf{W}}^{(2)}\in {\mathbb{R}}^{q\times h}$，可以得到向量长度为$q$的输出层变量
$$\mathbf{o}={\mathbf{W}}^{(2)}\mathbf{h}$$
假设损失函数为$\ell$，且样本标签是$y$，可以计算单个数据样本的损失项为
$$L=\ell (\mathbf{o},y)$$
再损失项上添加正则化项，使用$L_2$范数正则化，引入超参数$\lambda$
$$s=\frac{\lambda }{2}\left({\Vert {\mathbf{W}}^{(1)}\Vert }_F^2+{\Vert {\mathbf{W}}^{(2)}\Vert }_F^2\right)$$
最终，模型在给定的数据样本上，带正则化的损失定义为
$$J=L+s$$
将$J$称为数据样本的目标函数。

正向传播计算框图

从图中可以很清晰的看出整个传播的流向。从下面这个流向，我们也可以大体知道如何到最后的$J$。

$$\mathbf{x}\stackrel{{\mathbf{W}}^{(1)}}{⟶}\mathbf{z}\stackrel{\varphi }{⟶}\mathbf{h}\stackrel{W^{(2)}}{⟶}\mathbf{O}\stackrel{\ell }{⟶}L\stackrel{+S}{⟶}J$$

反向传播

反向传播是指计算神经网络参数梯度的方法，总体而言，反向传播依据的是微积分中的链式法则对输入或输出$X,Y,Z$为任意形状张量（这里为了推广，统一称张量）的函数 Y = f