torch使用

x_data = [1,2,3]
y_data = [2,4,6]

w1 = torch.Tensor([1.0])
w2 = torch.Tensor([1.0])
b = torch.Tensor([0])

w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True

def forward(x):
    return w1*x**2+w2*x+b

def loss(x,y):
    y_pred = forward(x)
    return (y_pred-y)**2

epoch=100
for i in range(epoch):
    for x, y in zip(x_data,y_data):
        l = loss(x,y)
        l.backward()
        print("\tgrad:",x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
        w1.data = w1.data - 0.01*w1.grad.data
        w2.data = w2.data - 0.01*w2.grad.data
        b.data = b.data - 0.01*b.grad.data
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()
    print("progress",i+1,l.item())

记住Tensor包括data和grad,两者也都是Tensor类型，其中grad初始为None,在BP之后变为了Tensor类型。 还须记住Tensor是用来构建计算图，BP之后会释放，然后将梯度存在需要计算梯度的参数中。

注意：.item()用于在只包含一个元素的tensor中提取值，注意是只包含一个元素，否则的话使用.tolist()。只有一个元素的tensor才能使用.item()转换成标量。用 .item()，能够防止tensor无线叠加导致的显存爆炸。