handson-ml 10-8什么是反向传播，它如何工作？反向传播和反向模式autodiff有什么区别

什么是反向传播

反向传播是一种用于训练人工神经网络的技术

如何工作

它首先计算关于每个模型参数的成本函数的梯度，然后根据这些梯度进行梯度下降，这种反响传播步骤通常执行数千次或数百万次，并需要进行多个批次训练，直到模型参数收敛到最小成本函数为止。
为了计算梯度，反向传播使用了反向模式autodiff，反向模式autodiff会在计算图上正向执行一次，计算当前训练批次的每个节点的值。然后反向执行一次，一次性计算所有梯度。

区别

反向传播是指训练神经网络的全部过程，而反向模式autodiff只是反向传播使用的手段，只是恰好被反向传播使用而已。