叶节点和叶子张量

在 pytorch 中一般只对叶节点进行梯度计算，也就是下图中的 d, e 节点，而对非叶节点，也即是 c, b 节点则没有显式地去保留其中间计算过程中的梯度（因为一般来说只有叶节点才需要去更新），这样可以节省很大部分的显存，但是在调试过程中，有时候我们需要对中间变量梯度进行监控，以确保网络的有效性，这个时候我们需要打印出非叶节点的梯度，为了实现这个目的，我们可以通过两种手段进行 — 注册hook函数 和 retatin_grad() .

.is_leaf：记录是否是叶子节点。通过这个属性来确定这个变量的类型 在官方文档中所说的“graph leaves”, “leaf variables”，都是指像 x, y 这样的手动创建的、而非运算得到的变量，这些变量成为创建变量。 像 z(z=x+y) 这样的，是通过计算后得到的结果称为结果变量。