PyTorch教程之Autograd

参考 PyTorch教程之Autograd - 云+社区 - 腾讯云

在PyTorch中，autograd是所有神经网络的核心内容，为Tensor所有操作提供自动求导方法。

它是一个按运行方式定义的框架，这意味着backprop是由代码的运行方式定义的。

 一、Variable

autograd.Variable 是autograd中最核心的类。 它包装了一个Tensor，并且几乎支持所有在其上定义的操作。一旦完成了你的运算，你可以调用 .backward()来自动计算出所有的梯度。

Variable有三个属性：data，grad以及creator。

访问原始的tensor使用属性.data；  关于这一Variable的梯度则集中于 .grad；  .creator反映了创建者，标识了是否由用户使用.Variable直接创建（None）。

还有一个对autograd的实现非常重要的类——Function。Variable 和Function数是相互关联的，并建立一个非循环图，从而编码完整的计算过程。每个变量都有一个.grad_fn属性引用创建变量的函数(除了用户创建的变量，它们的grad_fn是None