x_data = [1,2,3]
y_data = [2,4,6]
w1 = torch.Tensor([1.0])
w2 = torch.Tensor([1.0])
b = torch.Tensor([0])
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True
def forward(x):
return w1*x**2+w2*x+b
def loss(x,y):
y_pred = forward(x)
return (y_pred-y)**2
epoch=100
for i in range(epoch):
for x, y in zip(x_data,y_data):
l = loss(x,y)
l.backward()
print("\tgrad:",x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
w1.data = w1.data - 0.01*w1.grad.data
w2.data = w2.data - 0.01*w2.grad.data
b.data = b.data - 0.01*b.grad.data
w1.grad.data.zero_()
w2.grad.data.zero_()
b.grad.data.zero_()
print("progress",i+1,l.item())
记住Tensor包括data和grad,两者也都是Tensor类型,其中grad初始为None,在BP之后变为了Tensor类型。 还须记住Tensor是用来构建计算图,BP之后会释放,然后将梯度存在需要计算梯度的参数中。
注意:.item()用于在只包含一个元素的tensor中提取值,注意是只包含一个元素,否则的话使用.tolist()。只有一个元素的tensor才能使用.item()转换成标量。用 .item(),能够防止tensor无线叠加导致的显存爆炸。