2.5.3 PyTorch中的标量反向传播

2.5.3 pytorch中的标量反向传播

假设x，w，b都是标量，z=wx+b，对标量z调用backward()方法，按照前面所说，我们无需对backward()传入参数。下面我们用代码来实现自动求导的主要步骤：

import torch
# 1、定义叶子节点与算子节点
# 定义输入张量x
x = torch.Tensor([2])
# 初始化权重参数w和偏移量b，并设置requires_grad属性为True，为自动求导
w = torch.randn(1, requires_grad=True)
b = torch.randn(1, requires_grad=True)
# 实现前向传播
y = torch.mul(w, x)
z = torch.add(y, b)
# 查看x，w，b的requires_grad属性
print("x，w，b叶子节点的requires_grad属性：{}，{}，{}"
      .format(x.requires_grad, w.requires_grad, b.requires_grad))
# 2、查看叶子节点、非叶子节点的其他属性
# 查看非叶子节点的requires_grad属性
# 因为与w,b有依赖关系，故y和z的属性是：True，True
print("y,z非叶子节点的requires_grad属性：{}，{}"
      .format(y.requires_grad, z.requires_grad))
# 查看各节点是否为叶子节点
print("x,w,b,y,z是否为叶子节点：{}，{}，{}，{}，{}"
      .format(x.is_leaf, w.is_leaf, b.is_leaf,
              y.is_leaf, z.is_leaf))
# 查看叶子节点的grad_fn值
print("x,w,n的grad_fn属性：{}，{}，{}"
      .format(x.grad_fn, w.grad_fn, b.grad_fn))
# 因为x，w，b为用户创建的，为通过其他张量计算得到的，故x，w，b的grad_fn属性：None，None，None
# 查看非叶子节点的grad_fn属性
print("y,z非叶子节点的grad_fn属性：{},{}".format(y.grad_fn, z.grad_fn))
# 3、自动求导，实现梯度方向传播，即梯度的反向传播
# 基于z张量进行梯度反向传播，执行backward之后计算图会自动清空
z.backward()
# 如果需要多次使用backward，需要修改参数retain_graph为True
# z.backward(retain_graph=True)
# 查看叶子节点的梯度，x是叶子节点但它无须求导，故其梯度为None
print("参数x,w，b的梯度分别为：{}，{}，{}".format(x.grad, w.grad, b.grad))
# 非叶子节点的梯度，执行backward之后，会自动清空
print("非叶子节点y，z的梯度分别为：{}，{}".format(y.grad, z.grad))

结果输出：
x，w，b叶子节点的requires_grad属性：False，True，True
y,z非叶子节点的requires_grad属性：True，True
x,w,b,y,z是否为叶子节点：True，True，True，False，False
x,w,n的grad_fn属性：None，None，None
y,z非叶子节点的grad_fn属性：<MulBackward0 object at 0x0000017BC3E4C240>,<AddBackward0 object at 0x0000017BC6777C50>
参数x,w，b的梯度分别为：None，tensor([2.])，tensor([1.])
非叶子节点y，z的梯度分别为：None，None