由于我们是让损失最小,需要的是对loss值最小。
上述的是第一行到第二行,需要6行5列个w权重
反向传播
残差项y_hat-y
求梯度
items()以列表返回可遍历的元组
w.grad 查看梯度参数值
l.backward()用来计算最终的损失值对权重W的最终求导。
import torch
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w=torch.tensor([1.0]) ##w的初始值为张量1.0
w.requires_grad = True ##计算梯度
def forward(x):
return x*w
def loss(x,y):
y_pred = forward(x)
return (y_pred - y)**2
print("predict(before training)",4, forward(4).item())
q=[]
z=[]
for epoch in range(100):
for x, y in zip(x_data, y_data):
l =loss(x, y)
l.backward() ##计算最终基于权重的梯度,以便后期更新
print("\tgrad:",x, y, w.grad.item())
w.data = w.data - 0.01 * w.grad.data ##梯度更新的步骤!!!根据w.grad.data的梯度值来更新
print("\t",w.grad)
print("\t",w.grad.data)
w.grad.data.zero_()
print("progress:", epoch, l.item())
q.append(epoch)
z.append(l.item())
print("predict (after training)", 4, forward(4).item())
plt.plot(q,z)
plt.xlabel("epoch")
plt.ylabel("loss")
plt.show()
# import torch
# a = torch.tensor([1.0])
# a.requires_grad = True # 或者 a.requires_grad_()
# print(a) ##tensor([1.], requires_grad=True)
# print(a.data) ##tensor([1.])
# print(a.type()) # a的类型是torch.FloatTensor
# print(a.data.type()) # a.data的类型是torch.FloatTensor
# print(a.grad) ##None
# print(type(a.grad)) ##<class 'NoneType'>