李宏毅老师课程：Backpropagation（反向传播）

Chain Rule（链式法则）

对整个neural network，我们定义了一个loss function：L(θ)，它等于所有training data的loss之和

我们把training data里任意一个样本点xⁿ代到neural network里面，它会output一个yⁿ，我们把这个output跟样本点本身的label标注的target作cross entropy，这个交叉熵定义了output和target之间的距离lⁿ(θ)，如果cross entropy比较大的话，说明output和target之间距离很远，这个network的parameter的loss是比较大的，反之则说明这组parameter是比较好的

然后对所有training data的cross entropy求和，得到L(θ)，这就是我们的loss function，用这个对某一个参数w做偏微分，表达式如下：

Forward pass

Backward pass

两种情况

case 1：Output Layer

Case 2：Not Output Layer

Summary

总体思想类似于DP或者递归

因数学符号过多，打字困难，故主要放ppt图片，不多作文字描述

本文图片来自李宏毅老师课程PPT，文字是对李宏毅老师上课内容的笔记或者原话复述，在此感谢李宏毅老师的教导。