在计算图中,基于链式法则的计算图反向求导是模型训练的关键算法,下面用图例说明为什么反向传播的时候,权重矩阵需要转置
按着图中箭头方向“从左向右进行计算”称为正向传播,即从计算图的出发点到结束点的传播, “从右往左计算”称为反向传播.
另一个例子:
当反向传播进来的是误差对上一层的导数时,反向传播矩阵使用正向传播矩阵的转置.
在计算图中,基于链式法则的计算图反向求导是模型训练的关键算法,下面用图例说明为什么反向传播的时候,权重矩阵需要转置
按着图中箭头方向“从左向右进行计算”称为正向传播,即从计算图的出发点到结束点的传播, “从右往左计算”称为反向传播.
另一个例子:
当反向传播进来的是误差对上一层的导数时,反向传播矩阵使用正向传播矩阵的转置.