前向传播、反向传播和计算图_假设我们有函数y = f(x)和z = g(y),其中输入和输出x, y, z是任意形状的张量。利-CSDN博客

本文链接：https://blog.csdn.net/m0_57248668/article/details/139142166

1.前向传播

为简单起见，隐藏层不包括偏置项。 $x\in \mathbb{R}^{d}$ ，中间变量为：

$z=W^{(1)}x$

其中 $W^{(1)}\in \mathbb{R}^{h\times d}$ 是隐藏层的权重参数。再通过激活函数 $\phi$ 后，隐藏激活向量：

$h=\phi (z)$

隐藏变量h也是一个中间变量。假设输出层的参数只有权重 $W^{(2)}\in \mathbb{R}^{q\times h}$ ，我们可以得到输出层变量，它是一个长度为q的向量。

$o=W^{(2)}h$

假设损失函数为l，样本标签为y，则单个样本的损失项， $L=l(o,y)$

根据正则化定义，给定超参数 $\lambda$ ，正则化项为：

$s=\frac{\lambda }{2}(\left \| W^{(1)} \right \|_{F}^{2}+\left \| W^{(2)} \right \|_{F}^{2})$

最后，模型在给定数据样本上的正则化损失为：

$J=L+s$

2.反向传播

反向传播（backward propagation）指的是计算神经网络参数梯度的方法。简言之，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。该算法存储了计算某些参数梯度时所需的任何中间变量（偏导数）。假设我们有函数Y=f(x)和Z=g(Y)，其中输入和输出是任意形状的张量。利用链式法则，我们可以计算Z关于X的导数.

$\frac{\partial Z}{\partial Y}=prod(\frac{\partial Z}{\partial Y},\frac{\partial Y}{\partial X})$

在这里，我们使用prod运算符在执行必要的操作（如换位和交换输入位置）后将其参数相乘。对于向量，这很简单，它只是矩阵-矩阵乘法。对于高维张量，我们使用适当的对应项。运算符prod指代了所有的这些符号。

回想一下，在计算单隐藏层简单网络的参数是 $W^{(1)}$ 和 $W^{(2)}$ 。反向传播的目的是计度 $\partial J/\partial W^{(1)}$ 和 $\partial J/\partial W^{(2)}$ 。为此，我们链式法则，以此计算每个中间变量和参数的梯度。计算的顺序与前向传播中执行的顺序相反，因为我们需要从计算图的结果开始，并朝着参数的方向努力。第一步是计算目标函数 $J=L+s$ 相对于损失项和正则项的梯度。