pytorch学习笔记(反向传播)

反向传播算法是一个有效求解梯度的算法,本质上是一个链式求导的法则的应用。

链式法则

          考虑一个简单的函数,比如,我们可以直接求出这个函数的微分,但是这里我们要使用链式法则,令q=x+y,那么f=qz,对于这两个式子来说,分别求出他们的微分,,,同时q是x和y的求和,所以可以得到,。关心的问题是,链式法则告诉我们如何求得它们的值。