自动求导
1.向量的链式法则
从标量拓展到向量,后面再拓展到矩阵上。那么举一个具体的计算例子。
2.自动求导
由于神经网络动不动就几百层,所以需要自动求导,就是一个函数在指定值上进行符号求导,数值求导:
在pytorch中,使用的是一个计算图的形式来进行的自动求导;
计算图本质上就是链式法则的求导过程,首先把代码分解,之后用无环图进行计算。那块么这个例子呢就是我们之前讲向量的链式法则的计算过程。
mxnet、tensorflow使用的是一种显式的构造,但是pytorch使用的是一种隐式的构造。
一般来说有两种方式进行自动求导。那么正向和反向的思维不一样,可以用计算图来看一看具体的一个操作。
那么在正向累计中,需要去了解一下相关的复杂度:
3.自动求导
直接看代码,不多说了,有注释: