首先上代码,注意代码里的注释,一般的在注释里说明:
import torch
# 注意这里必须写成两维的矩阵
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])
class LinearModel(torch.nn.Module):
def __init__(self):
super(LinearModel, self).__init__()
self.linear = torch.nn.Linear(1, 1) # 输入特征和输出维度 都是一维的
# __call__() 中会调用这个函数!
def forward(self, x):
y_pred = self.linear(x)
return y_pred
# model为可调用的! 实现了 __call__()
model = LinearModel()
# 指定损失函数
# criterion = torch.nn.MSELoss(size_average=Flase) # True
criterion = torch.nn.MSELoss(reduction='sum') # sum:求和 mean:求平均
# -- 指定优化器(其实就是有关梯度下降的算法,负责),这里将优化器和model进行了关联
# optimizer = torch.optim.SGD(model.parameters(), lr=0.02)
# optimizer = torch.optim.Adam(model.parameters(), lr=0.02)
optimizer = torch.optim.Rprop(model.parameters(), lr=0.01) # 为啥这个这么快
for epoch in range(100):
y_pred = model(x_data) # 直接把整个测试数据都放入了
loss = criterion(y_pred, y_data)
print(epoch, loss.item())
optimizer.zero_grad() # 会自动找到所有的w和b进行清零!优化器的作用 (为啥这个放到loss.backward()后面清零就不行了呢?)
loss.backward()
optimizer.step() # 会自动找到所有的w和b进行更新,优化器的作用!
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)
这里有几个步骤:
1 准备数据集
2 构造模型
3 指定损失函数
4 指定优化器
5 训练模型
6 用模型进行预测
这里我提几个问题,在后续的过程中,如果懂了再一一作答,懂得小伙伴有时间的评论区指点一二感谢。
问题1:loss.backward() 之后,求得了梯度,为啥优化器就可以直接更新权重了(optimizer.step() )?loss和optimizer什么时候关联在一起的?
答:再构建优化器的时候:
optimizer = torch.optim.Rprop(model.parameters(), lr=0.01)
optimizer拿到了模型的所有w和b
y_pred = model(x_data) # 直接把整个测试数据都放入了 loss = criterion(y_pred, y_data)
在训练的时候,loss和model建立的关系,这样应该是构建了loss和model的计算图。
这样的话loss和optimizer应该就都能访问到w和b以及他们的梯度。
问题2:optimizer.zero_grad() 为啥放到loss.backward()之后,整个结果就不对了?
问题3:训练好的model怎么保存下来?不可能每次预测之前都要训练一次吧?