首先,chain rule了解一下:
C是y_和y的距离(也可以理解为损失函数)
C对w求偏微分,有两部分,一部分是forward ,一部分是backward.
如何计算forward pass,非常简单,就是input.
举个例子:
接下来看backward pass:
将上图与下图对比,就可以看出backward的含义了,如果我们最最后面开始往前算,一步一步,就相当于反向传播了。
关于反向传播我听到最好的解释
最新推荐文章于 2023-08-09 07:06:19 发布