python 反传播_纯Python实现反向传播（BP算法）(5)

目录

看鱼书记录5：

数值微分和反向传播都能更新权值的梯度度(严格来说，是损失函数关于权重参数的梯度)，但反向传播更加高效。

反向传播就是求偏导(梯度)，如何求呢？根据链式法则和输入值来求，具体如下

该点的局部导数是对上一个结点的偏导(从右到左(上一个结点))

加法节点的反向传播将上游的值原封不动地输出到下游(因为对上一个结点求偏导为1，这里的值是指上一个对下一个传递的偏导值)

乘法结点的反向传播会将上游的值乘以正向传播时的输入信号的“翻转值”后传递给下游。

加法的反向传播只是将上游的值传给下游，并不需要正向传播的输入信号。但是，乘法的反向传播需要正向传播时的输入信号值。因此，实现乘法节点的反向传播时，要保存正向传播的输入信号。

看懂下面这个例子就知道加法、乘法这个偏导怎么从右边传递到左边了：