《PyTorch深度学习实践》4反向传播

由于我们是让损失最小，需要的是对loss值最小。

上述的是第一行到第二行，需要6行5列个w权重

反向传播

残差项y_hat-y

求梯度

items（）以列表返回可遍历的元组

w.grad 查看梯度参数值

l.backward()用来计算最终的损失值对权重W的最终求导。

得到w.grad.data后，来对权重进行更新

import torch
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w=torch.tensor([1.0])    ##w的初始值为张量1.0
w.requires_grad = True   ##计算梯度

def forward(x):
    return x*w

def loss(x,y):
    y_pred = forward(x)
    return (y_pred - y)**2

print("predict(before training)",4, forward(4).item())

q=[]
z=[]

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        l =loss(x, y)
        l.backward() ##计算最终基于权重的梯度，以便后期更新
        print("\tgrad:",x, y, w.grad.item())
        w.data = w.data - 0.01 * w.grad.data  ##梯度更新的步骤！！！根据w.grad.data的梯度值来更新
        print("\t",w.grad)
        print("\t",w.grad.data)
        w.grad.data.zero_()
    print("progress:", epoch, l.item())
    q.append(epoch)
    z.append(l.item())

print("predict (after training)", 4, forward(4).item())

plt.plot(q,z)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()




# import torch
# a = torch.tensor([1.0])
# a.requires_grad = True # 或者 a.requires_grad_()
# print(a)   ##tensor([1.], requires_grad=True)
# print(a.data)  ##tensor([1.])
# print(a.type())             # a的类型是torch.FloatTensor
# print(a.data.type())        # a.data的类型是torch.FloatTensor
# print(a.grad)        ##None
# print(type(a.grad))  ##<class 'NoneType'>