requires_grad，grad_fn，grad的含义及使用

requires_grad: 如果需要为张量计算梯度，则为True，否则为False。我们使用pytorch创建tensor时，可以指定requires_grad为True（默认为False），

grad_fn： grad_fn用来记录变量是怎么来的，方便计算梯度，y = x*3,grad_fn记录了y由x计算的过程。

grad： 当执行完了backward()之后，通过x.grad查看x的梯度值。

创建一个Tensor并设置requires_grad=True，requires_grad=True说明该变量需要计算梯度。

>>x = torch.ones(2, 2, requires_grad=True)
 
tensor([[1., 1.],
 
        [1., 1.]], requires_grad=True)
 
>>print(x.grad_fn)  # None

>>y = x + 2
 
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward>)
 
>>print(y.grad_fn)  # <AddBackward object at 0x1100477b8>

由于x是直接创建的，所以它没有grad_fn，而y是通过一个加法操作创建的，所以y有grad_fn

像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None。

requires_grad属性是可以改变的

通过.requires_grad_()来用in-place的方式改变requires_grad属性：

>>a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
 
>>a = ((a * 3) / (a - 1))
 
>>print(a.requires_grad) # False
 
>>a.requires_grad_(True)
 
>>print(a.requires_grad) # True

执行下列操作之后

>>z = y * y * 3
 
>>out = z.mean()
 
>>print(z, out)

当我们对out使用backward()方法后，就可以查看x的梯度值

>>out.backward() # 等价于 out.backward(torch.tensor(1.))
 
>>print(x.grad)
 
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。

参考博文：https://blog.csdn.net/zphuangtang/article/details/112788037