# grad.zero_方法用于将张量中的梯度清零,是梯度下降过程中必须要调用的方法
import torch
def f(x):
return x * x - 4 * x - 5
def df(x):
return 2 * x - 4
# 初始化一个带有梯度的张量
x = torch.tensor([0.0], requires_grad=True)
y = f(x)
y.backward()
print("第一次打印:")
print("x的值:", x.data)
print("x的梯度值:", x.grad.data)
print("验证x的梯度值:", df(x).data)
print("---------------")
x.grad.zero_() # 将梯度清零
y = f(x)
y.backward()
print("第二次打印")
print("x的值:", x.data)
print("x的梯度值:", x.grad.data)
print("验证x的梯度:", df(x).data)
print("-----------------")
# 第三次打印不使用grad.zero_将梯度清零
y = f(x)
y.backward()
# 在调用backward时,梯度都会累加到已有的梯度上,也就是-4+(-4)=-8
# 如果要使用backward重新计算梯度值
# 需要提前调用grad.zero_,将原来保存的梯度清空,才能确保后续的结果是正确的
print("第三次打印")
print("x的值:", x.data)
print("x梯度的值:", x.grad.data)
print("验证x的梯度值:", df(x).data)
Pytorch的自动微分----grad.zero方法
最新推荐文章于 2024-06-07 11:00:00 发布