pytorch 一个 Tensor的 is_leaf requires_grad 两个属性同时 为 True 才会保存 grad

根据下面的代码和输出，不难发现在 loss 执行完 backward 操作之后
只有那些 requires_grad 和 is_leaf 的属性同时为 True 的 Tensor 才会有 grad 属性。
不满足上面的条件也想要保存 grad，见这篇博文 Pytorch关于requires_grad_(True)的理解 。

而根据 这篇文章
Tesor 在下面几种情况下，才会是 leaf

# Creating the graph
x = torch.tensor([1.,2.,3.], requires_grad = True)
y = torch.tensor([4.,5.,6.], requires_grad = True)
z = x+y
loss = (z*z).sum()
loss.backward() #Computes the gradient

print("x requires_grad",x.requires_grad)
print('x is_leaf',x.is_leaf)
print('x grad_data',x.grad.data)

print("\ny requires_grad",y.requires_grad)
print('y is_leaf',y.is_leaf)
print('y grad_data',y.grad.data) 

print("\nz requires_grad",z.requires_grad)
print('z is_leaf',z.is_leaf)

print("\nloss requires_grad",loss.requires_grad)
print('loss is_leaf',loss.is_leaf)

print('loss grad_data',loss.grad.data) 
print('z grad_data',z.grad.data) 

输出：

x requires_grad True
x is_leaf True
x grad_data tensor([10., 14., 18.])

y requires_grad True
y is_leaf True
y grad_data tensor([10., 14., 18.])

z requires_grad True
z is_leaf False

loss requires_grad True
loss is_leaf False

  File "xx.py", line 27, in <module>
    print('loss grad_data',loss.grad.data) #Prints '3' which is dz/dx
AttributeError: 'NoneType' object has no attribute 'data'

z grad_data 也是一样的报错，就不贴上来了