5.深度学习之正向传播和反向传播

5.1 正向传播

• 正向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。
• 根据L2范数正则化的定义，给定超参数λ，正则化项即
  
  • 最终，模型在给定的数据样本上带正则化的损失为
    
• 正向传播的计算图
  

5.2 反向传播

• 反向传播指的是计算神经网络参数梯度的方法。
• 反向传播依据微积分中的链式法则，沿着从输出层到输入层的顺序，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。