Pytorch入门（四）——计算图与自动求导

1 计算图

1.1 计算图介绍

计算图是用来描述运算的有向无环图，其中有两个主要元素：结点（Node）和边（Edge）

结点表示数据，如向量，矩阵，张量

边表示运算，如加减乘除卷积等

实例：

用计算图表示y=(x+w) * (w+1)

a = x + w

b = w + 1

y = a * b

1.2 计算图与梯度求导

通过计算图，我们可以对求导的过程一目了然，例如：$y=(x+w)\ast (w+1)$,我们需要对w求导，

且$a = x+w $,$b = w+1$

$y=a\ast b$

则有
$$\frac{\theta y}{\theta w}=\frac{\theta y}{\theta a}\frac{\theta a}{\theta w}$$