Pytorch(三) --反向传播

整体上来说，和上一节的梯度下降法差不多，不过这次是用Pytorch实现的，调用了其中的一些方法。
需要注意的事项：
①Tensor中包含data和grad，其中data和grad也是Tensor。在更新w.data时，也需要使用w.grad.data。
②与Tensor做运算后得到的值，也是Tensor类型的。
③l.backward()方法会把计算图中所有需要梯度的地方求出来，然后存到对应的参数中，最终将计算图释放。
本次针对 y = w1*x^2+w2 *x+b，利用反向传播算法，求出近似的解。
代码如下：

#   y = 3*x^2+2*x+3
x_data = [1.0,2.0,3.0]
y_data = [8.0,19.0,36.0]
lr=0.01
w1,w2,b = torch.Tensor([1.0,1.0,2.0])
w1.requires_grad=True
w2.requires_grad=True
b.requires_grad=True

def forward(x):
    return w1*x**2+w2*x+b
def loss(x,y):
    return (forward(x)-y)**2
print('Predict (before training)')
for epoch in range(100000):
    l=0
    for x,y in zip(x_data,y_data):
        l = loss(x,y)
        l.backward()
        print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
        w1.data = w1.data-lr*w1.grad.data
        w2.data = w2.data-lr*w2.grad.data
        b.data = b.data-lr*b.grad.data
        w1.grad.data.zero_()
        w2.grad.data.zero_()
        b.grad.data.zero_()
    print('Epoch:',epoch,l.item())
print('Finally:','w1=',w1.data.item(),'w2=',w2.data.item(),'b=',b.data.item())

最终结果如下所示：

Finally: w1= 2.999950408935547 w2= 2.0002214908599854 b= 2.999795436859131

努力加油a啊