pytorch中关于梯度计算

关于Autogrand的几个概念：

叶子张量 ：可以理解为是一个初始变量，如下图所示，只有x为叶子节点，y和z都是结果节点。
pytorch中只能计算叶子节点的梯度（x）。

grand VS grand_fn
grand : 该Tensor的梯度值，每次在计算backward时需要将前一时刻的梯度归零，否则梯度值会累加。
grand_fn ：叶子节点通常为None，只有结果节点的grand_fn 才有效，用于指示梯度函数是哪种类型。

梯度函数：

torch.autograd.backward （tensors，grand_tensor = None，retain_graph = None, create_graph = False ）

tensors : 用于计算梯度的tensor，torch.autograd.backward（x）== x.backward()

grand_tensor : 在计算矩阵的梯度时会用到，如果输出z是一个