反向传播算法理解

从后向前以此计算梯度值的方法，我们成为反向传播算法。

具体为（反向传播算法它主要是通过计算损失函数对网络中各权重和偏置的梯度，由前向后进行传播，计算网络的输出，获得输出之后,通过损失函数衡量计算值与期望输出的差异，由后向前计算每个神经元的权重和偏置的偏导数，最后达到对权重和偏置的调整。）

常规计算中 我们输入x再使用权重w和偏置b来计算期望值y，最后拿w，b，x，y，真实值ygt进行计算获得损失函数。通过这些值继续去调整w和b。

反向传播是通过损失函数计算L对y的偏导，再由L对y的偏导使用链式求导法则计算L对w的偏导以及L对b的偏导。这种计算方式被称为反向传播算法。

我们认为反向传播算法啊就是神经网络中加速计算参数梯度值的方法。

计算图的正向传播过程：

计算图的反向传播过程（反向传播算法）

在实际工作中，我们的神经网络由多个神经元组成，这是非常复杂的。

如图所示，通过L对y2反向求导得到L对b2以及L对w2的求导结果，获得结果后再反向求导，通过反向求导获得L对b1以及L对w1的求导结果，并根据结果来调整b1，b2，w1，w2的结果。

根据正向传播的过程然后反向调节权重和偏置的大小。这个环节叫做反向传播。