李宏毅老师课程:Backpropagation(反向传播)

用来告诉我们用gradient descent来train一个neural network的时候该怎么做

Chain Rule(链式法则)

对整个neural network,我们定义了一个loss function:L(θ),它等于所有training data的loss之和
在这里插入图片描述
我们把training data里任意一个样本点xn代到neural network里面,它会output一个yn,我们把这个output跟样本点本身的label标注的target作cross entropy,这个交叉熵定义了output和target之间的距离ln(θ),如果cross entropy比较大的话,说明output和target之间距离很远,这个network的parameter的loss是比较大的,反之则说明这组parameter是比较好的

然后对所有training data的cross entropy求和,得到L(θ),这就是我们的loss function,用这个对某一个参数w做偏微分,表达式如下:
在这里插入图片描述
在这里插入图片描述

Forward pass

在这里插入图片描述

Backward pass

在这里插入图片描述

在这里插入图片描述

两种情况

case 1:Output Layer

在这里插入图片描述

Case 2:Not Output Layer

在这里插入图片描述

Summary

总体思想类似于DP或者递归

因数学符号过多,打字困难,故主要放ppt图片,不多作文字描述

本文图片来自李宏毅老师课程PPT,文字是对李宏毅老师上课内容的笔记或者原话复述,在此感谢李宏毅老师的教导。

相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页