小结
• 前向传播在神经⽹络定义的计算图中按顺序计算和存储中间变量,它的顺序是从输⼊层到输出层。
• 反向传播按相反的顺序(从输出层到输⼊层)计算和存储神经⽹络的中间变量和参数的梯度。
• 在训练深度学习模型时,前向传播和反向传播是相互依赖的。
• 训练⽐预测需要更多的内存。
【lzy学习笔记-dive into deep learning】4.7 前向传播、反向传播和计算图
于 2022-02-17 11:10:12 首次发布
小结
• 前向传播在神经⽹络定义的计算图中按顺序计算和存储中间变量,它的顺序是从输⼊层到输出层。
• 反向传播按相反的顺序(从输出层到输⼊层)计算和存储神经⽹络的中间变量和参数的梯度。
• 在训练深度学习模型时,前向传播和反向传播是相互依赖的。
• 训练⽐预测需要更多的内存。