Pytorch的自动微分----grad.zero方法

# grad.zero_方法用于将张量中的梯度清零，是梯度下降过程中必须要调用的方法
import torch


def f(x):
    return x * x - 4 * x - 5


def df(x):
    return 2 * x - 4


# 初始化一个带有梯度的张量
x = torch.tensor([0.0], requires_grad=True)
y = f(x)
y.backward()

print("第一次打印：")
print("x的值：", x.data)
print("x的梯度值：", x.grad.data)
print("验证x的梯度值：", df(x).data)
print("---------------")

x.grad.zero_()  # 将梯度清零
y = f(x)
y.backward()
print("第二次打印")
print("x的值：", x.data)
print("x的梯度值：", x.grad.data)
print("验证x的梯度：", df(x).data)
print("-----------------")

# 第三次打印不使用grad.zero_将梯度清零
y = f(x)
y.backward()
# 在调用backward时，梯度都会累加到已有的梯度上，也就是-4+(-4)=-8
# 如果要使用backward重新计算梯度值
# 需要提前调用grad.zero_，将原来保存的梯度清空，才能确保后续的结果是正确的
print("第三次打印")
print("x的值：", x.data)
print("x梯度的值：", x.grad.data)
print("验证x的梯度值：", df(x).data)