整体上来说,和上一节的梯度下降法差不多,不过这次是用Pytorch实现的,调用了其中的一些方法。
需要注意的事项:
①Tensor中包含data和grad,其中data和grad也是Tensor。在更新w.data时,也需要使用w.grad.data。
②与Tensor做运算后得到的值,也是Tensor类型的。
③l.backward()方法会把计算图中所有需要梯度的地方求出来,然后存到对应的参数中,最终将计算图释放。
本次针对 y = w1*x^2+w2 *x+b,利用反向传播算法,求出近似的解。
代码如下:
# y = 3*x^2+2*x+3
x_data = [1.0,2.0,3.0]
y_data = [8.0,19.0,36.0]
lr=0.01
w1,w2,b = torch.Tensor([1.0,1.0,2.0])
w1.requires_grad=True
w2.requires_grad=True
b.requires_grad=True
def forward(x):
return w1*x**2+w2*x+b
def loss(x,y):
return (forward(x)-y)**2
print('Predict (before training)')
for epoch in range(100000):
l=0
for x,y in zip(x_data,y_data):
l = loss(x,y)
l.backward()
print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
w1.data = w1.data-lr*w1.grad.data
w2.data = w2.data-lr*w2.grad.data
b.data = b.data-lr*b.grad.data
w1.grad.data.zero_()
w2.grad.data.zero_()
b.grad.data.zero_()
print('Epoch:',epoch,l.item())
print('Finally:','w1=',w1.data.item(),'w2=',w2.data.item(),'b=',b.data.item())
最终结果如下所示:
Finally: w1= 2.999950408935547 w2= 2.0002214908599854 b= 2.999795436859131
努力加油a啊