pytorch框架 request_grad属性 简单易懂

import torch

x1 = torch.ones(1,2,1,1, requires_grad = True)
y1 = torch.ones(1,2,1,1,requires_grad=False)
z1 = x1+y1
z2=z1.mean()

#z1.retain_grad()
z2.backward()
print(x1.requires_grad,x1.grad)
print(y1.requires_grad,y1.grad)
print(z1.requires_grad,z1.grad)

        当注释z1.retain_grad()，在运行时会warning，大概意思是正在尝试访问一个不是叶子节点（leaf Tensor）的张量的.grad属性。在PyTorch的自动求导（autograd）系统中，只有叶子节点才会保存梯度信息，而非叶子节点的梯度信息通常是不被保存的。

        因为像 z1 = x1 + y1 这样的操作时，z1 不是一个叶子节点。尽管 x1 是一个叶子节点（因为你明确地设置了 requires_grad=True），但是 y1 是一个不需要梯度的张量，即它的 requires_grad 默认为 False，它虽然是叶子节点但是它的requires_grad为False因此它也不会保存梯度。当你将两个张量相加时，结果张量 z1 将不再被视为叶子节点，因为它依赖于不需要梯度的张量 y1，如果要保存记得使用retain_grad()。换言之，只有被声明的变量才会被看作叶子节点会被保留梯度。

        另外还有一个逻辑: requires_grad=True+requires_grad=False的结果是requires_grad=True，很好理解不然反向传播运算无法进行

        运行结果:

        有一个特别的函数detach()，对当前变量detach()，会获得一份脱离计算图运算的相同数据，它默认requires_grad=False，相当于重写生成了一个requires_grad=False的叶子节点

import torch
x1 = torch.ones(1, 2, 1, 1, requires_grad=True)#模拟训练参数
y1 = torch.ones(1, 2, 1, 1, requires_grad=False)#模拟输入数据
z1 = x1 + y1
# z1_=z1
z1_=z1.detach()
# z1.requires_grad=True
c1 = torch.ones(1,2,1,1,requires_grad=True)#模拟训练参数
z2=z1_+c1
z2 = z2.mean()
z2.backward()
print(x1.requires_grad,x1.grad)
print(y1.requires_grad,y1.grad)
print(z1_.requires_grad,z1_.grad)
print(c1.requires_grad,c1.grad)

例如z1_依赖于z1但是梯度缺不会传给x1，y1